第一章绪论
1.1概述
1.1.1KNN算法概述
KNN算法于1968年首次被Cover和Hart提出,随后得到广泛深入的分析和研究,目前该算法在理论上已经相当成熟。KNN算法是在传统的向量空间的模型基础上进行展开的。当给出一个物品或者测试文本的时候,通过人工赋予的属性,来计算它与训练集中每个文本的相似度‘11,从而找出K个最相似的文本,根据距离来判断物品或者测试文本所属的类别。
KNN算法是一种聚类算法,聚类是在信息检索和数据挖掘中用到的一种很重要的技术,可以有效的发现其中重要的具有价值的信息‘21。它的数据对象是分组成多个类或簇。这就使得在同一个簇里面的对象之间的相似度变得非常高,相反的是,不同的对象之间的相似度差别是很大的。聚类算法属于统计学中的一个分支,作为~种无监督的方法,这种方法从数学的角度提供了一种很准确、细致的分析工具。
KNN算法有如下定义,假设R--{rl,r2,r3,...,rm}是d维空间内的m个参考点的集合,Q={ql,q2,q3,...qn}是同样一组空间内查询点的集合。KNN搜索算法需要查询Q集合内以点qi为中心,半径为R的空间内的点。通过计算所有的点之间的距离,然后根据提前确定好的K值来进行运算。这种方法却有一个缺点,就是代表点不能很好的代表各类,从而造成计算上的误差。
1.1.2影响KNN算法的外在因素
为了保证一定的精确度,势必导致它的计算复杂度过高,之前研究的重点是如何缩小计算量或者通过权重的分配使得计算更具有准确性,大多数学者都是通过加权或者变相加权让有限的计算变得更加有效率【41。因此,数据量无论是过大还是过小,还有K值,这些都是影响KNN算法的外在因素。
(1)确定K的取值。K值的选择如果比较大,那么合并的k近邻中必将包括其它类别的数据对象,不是自己本身所属的类别超过了自身真正属于的那一类别的数目,从而导致类别标号产生错误【3】;K值的选择如果比较小,那么一些噪声数据的影响就比较明显了。
(2)样本集中各样本所占的比例。一般来说,如果样本集中的数据分布差异性太大,对于K的取值如果没有一个很好的选择,这样取得的结果是不准确的,显然密度比较大的样本会导致容易产生误差。针对这一情况,很多理论中是采取加权的方式,平衡各样本集之间的权重,从而缩小样本密度不均匀所带来的影响。这样就可以使得结果比较准确。
[4]刘振.商务智能应用中数据挖掘 KNN 算法的改进与高性能程序的实现[D].浙江理工大学 2013.3. [5]张雪婷,张晓平,王洪凯.数据挖掘算法的一种实现方法[J]....
商务智能应用中数据挖掘... 暂无评价 70页 免费 knn算法 22页 1下载券 knn算法实例 116页 7下载券 KNN算法2010 10页 1下载券 C++实现KNN文本分类算法 11页 ...
广泛应用于机器学习和数据挖掘领域,被证实是向量空 ...该系统可以实现不同特征选择算法之间、PKNN和I(NN...由于人工智能技术的不断成熟,研究者开始把专家系统...
(4)本程序用向量夹角余弦计算相似度 KNN 算法实现类 KNNClassifier.java 如下 1...数据挖掘贝叶斯 8页 免费 商务智能应用中数据挖掘... 70页 免费 基于贝叶斯网络...
基于CUDA的数据挖掘KNN算法的改进_计算机软件及应用_IT/计算机_专业资料 暂无评价
1.2 KNN 有如下优点 - 算法易于理解且易于实现 - 几乎没有训练过程(只是需要...商务智能应用中数据挖掘... 暂无评价 70页 免费 基于改进KNN算法实现网络... ...
数据挖掘期末论文_计算机软件及应用_IT/计算机_专业资料。KNN分类算法的研究 KNN...此外,自编程序实现了以上分析实验中 用到的算法,并给出了相关实验结果。 关键词...
商务智能与数据挖掘实验报告_计算机软件及应用_IT/计算机_专业资料。分享吧...关注:@邓益-yi今日推荐 81份文档 笑话大全集 笑话大全爆笑版 幽默笑话大全 全球冷...
四、KNN 算法(K-Nearest Neighbour) KNN 算法的...集的变化,在 Web 环境和 电子商务应用中是很常见...它通 常用来实现衡量分类系统性能的基准系统, 而...
(数据挖掘与商务智能)_IT/计算机_专业资料。数据挖掘...数据挖掘的一些基本工具与算法 数据挖掘流程 数据挖掘...决策支持业务数据 Marketing 应用系统 数据分析 顾客...
热门文档