数据挖掘中有关K近邻算法
数据挖掘十大算法—K近邻算法
k-近邻算法是基于实例的学习方法中最基本的,先介绍基于实例学习的相关概念。
一、基于实例的学习。 1、已知一系列的训练样例,很多学习方法为目标函数建立起明确的一般化描述;但与此不同,基于实例的学习方法只是简单地把训练样例存储起来。
从这些实例中泛化的工作被推迟到必须分类新的实例时。每当学习器遇到一个新的查询实例,它分析这个新实例与以前存储的实例的关系,并据此把一个目标函数值赋给新实例。 2、基于实例的方法可以为不同的待分类查询实例建立不同的目标函数逼近。事实上,很多技术只建立目标函数的局部逼近,将其应用于与新查询实例邻近的实例,而从不建立在整个实例空间上都表现良好的逼近。当目标函数很复杂,但它可用不太复杂的局部逼近描述时,这样做有显著的优势。
3、基于实例方法的不足:
(1)分类新实例的开销可能很大。这是因为几乎所有的计算都发生在分类时,而不是在第一次遇到训练样例时。所以,如何有效地索引训练样例,以减少查询时所需计算是一个重要的实践问题。 (2)当从存储器中检索相似的训练样例时,它们一般考虑实例的所有属性。如果目标概念仅依赖于很多属性中的几个时,那么真正最“相似”的实例之间很可能相距甚远。
二、k-近邻法 基于实例的学习方法中最基本的是k-近邻算法。这个算法假定所有的实例对应于n维欧氏空间Ân中的点。一个实例的最近邻是根据标准欧氏距离定义的。更精确地讲,把任意的实例x表示为下面的特征向量:<a1(x),a2(x),...,an(x)> 其中ar

(x)表示实例x的第r个属性值。那么两个实例xi和xj间的距离定义为d(xi, xj),其中:
说明:
1、在最近邻学习中,目标函数值可以为离散值也可以为实值。
2、我们先考虑学习以下形式的离散目标函数。其中V是有限集合
数据挖掘十大经典算法 总结版_计算机软件及应用_IT/计算机_专业资料。数据挖掘经典算法 总结版 2006年12月评选《数据挖掘领域十大经典算法初探》数据挖掘领域十大经典...
数据挖掘十大经典算法_计算机软件及应用_IT/计算机_专业资料。数据挖掘十大经典算法 1. C4.5 C4.5 算法是机器学习算法中的一种分类决策树算法,其核心算法是 ...
国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年 12月评选出了数据挖掘领域的十大经典算法 ? ? 数据挖掘大致萌芽于上世纪70...
数据挖掘十大算法_专业资料 暂无评价0人阅读0次下载举报文档 数据挖掘十大算法_专业资料。Web数据挖掘十大算法大比拼今日推荐 67份文档 ...
数据挖掘十大算法之 AdaBoost An example 给定如下表所示的训练数据:序号 x y 1 0 1 2 1 1 3 2 1 4 3 -1 5 4 -1 6 5 -1 7 6 1 8 7 1 9...
数据挖掘十大算法_计算机软件及应用_IT/计算机_专业资料。1.C4.5 算法是机器学习算法中的一种分类决策树算法 2. k-means algorithm 算法是一个聚类算法,其...
数据挖掘之经典算法 1 决策树算法机器学习中,决策树是一个预测模型;它代表的是对象属性值与对象值之间的一种映射关系。树中每 个节点表示某个对象,每个分叉路径...
不仅仅是选中的十大算法,其实参加评选的18种算法,实际上随便拿出一种来都可以称得 上是经典算法,它们在数据挖掘领域都产生了极为深远的影响。 1. C4.5 C4.5...
不仅仅是选中的十大算法,其实参加评选的 18 种算法,实际上随便拿出一种来都可以 称得上是经典算法,它们在数据挖掘领域都产生了极为深远的影响。 1. C4.5 C4....
热门文档