机器学习实战之——kNN算法学习总结

小谢

                                                       机器学习实战之——kNN算法学习总结

1、概述：

  简单地说，K-近邻算法采用测量不同特征值之间的距离方法进行分类。

  优点：对异常值不敏感、无数据输入假定。

  缺点：计算复杂度高、空间复杂度高。

  适用数据范围：数值型和标称型。

2、工作原理：

  1）存在一个样本数据集合(训练样本集)，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据所属分类的对应关系。

  2）输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据(最近邻)的分类标签。

  3）选择样本中前K个最相似的数据，通常k是不大于20的整数。

  4）选择k个最相似数据中出现次数最多的分类，作为新数据分类。

3、电影分类的例子

  使用k-近邻算法分类爱情片和动作片。有人统计过很多电影的打斗镜头和接吻镜头，如下图6部电影的打斗和接吻镜头数。假如有一部未看过的电影，如何确定它是爱情片还是动作片呢？

  1）首先我们需要知道这个未知电影存在多少个打斗镜头和接吻镜头，上图问号代表未知电影出现的镜头数图形化展示。

  2）计算未知电影与样本集中其他电影的距离

  3）按距离递增排序，可以找到k个距离最近的电影。假定k=3，距离最近的散步电影类型都是爱情片，因此可以判断未知电影是爱情片。

4、使用python实现

$ python

$ import kNN

[size=10.5000pt]5、使用KNN算法改进约会网站的配对效果

1、将文本记录到转换Numpy的解析程序

$ datingDataMat,datingLabels=kNN.file2matrix('datingTestSet2.txt')

2、使用Matplotlib创建散点图

$ from numpy import array

$ import matplotlib

$ import matplotlib.pyplot as plt

$ fig=plt.figure()

$ ax=fig.add_subplot(111)

$ ax.scatter(datingDataMat[:,1],datingDataMat[:,2],15.0*array(datingLabels),15.0*array(datingLabels))

$ plt.show()

运行效果如下：

3、归一化特征值(自动将数据特征值转为为0到1的区间)

$ normMat,ranges,minVals=kNN.autoNorm(datingDataMat)

$ normMat

  array([[0.33060119,0.58918886,0.59540619],

  [0.49199139,0.50262471,0.69043973],

  [0.34858782,0.68886842,0.13468257],

  ...        

  [0.93077422,0.52696233,0.58885466],

  [0.76626481,0.44109859,0.88192528],

  [0.0975718,0.02096883,0.02443895]])

$ ranges

  array([8.78430000e+04,2.02823930e+01,1.69197100e+00])

       $ minVals

  array([0.,0.,0.001818])

4、测试

测试约会网站分类代码

       $ kNN.datingClassTest()

运行结果如下：

预测约会网站

$ kNN.classifyPerson()

[size=10.5000pt]6、手写数字识别系统

$ kNN.handwritingClassTest()

运行结果如下：

kNN.rar (3.32 MB, 下载次数: 5)

2015-12-19 10:49 上传

点击文件名下载附件
下载积分: 金钱 -1

morinson

进展真快，赞