第12卷第20期2012年7月1671—1815(2012)20-4926-04
科学技术与工程
ScienceTechnologyandEngineering
Vol.12No.20Jul.20122012Sci.Tech.Engrg.
一种基于粗糙集的改进KNN文本分类算法
苟和平
1
景永霞
1
冯百明
2
李勇
2
(琼台师范高等专科学校信息技术系1,海口571100;西北师范大学数学与信息科学学院2,兰州730070)
摘要K最近邻算法(KNN)被认为是向量空间模型下最好的分类算法之一。在准确率和召回率方面比较出众,但随着样
KNN,本数量的增加其相似度计算开销很大。提出一种改进算法RS-主要是利用粗糙集的相关理论,计算训练样本集中各样本子类的上近似空间和下近似空间,根据待分类文本出现在不同的近似空间。以缩减与待分类样本计算相似度的训练样本个数。实验表明此算法能够有效地降低分类计算开销。关键词
K最近邻
文本分类
粗糙集
近似空间A
中图法分类号
TP391.75;
文献标志码
随着互联网的普及和信息技术的发展,网络信息资源日益丰富,如何从大量的信息资源库中挖掘出有用信息成为研究的热点。作为数据挖掘关键技术之一的文本自动分类技术,是实现文本数据组在提高文本数据利用的有效织与检索的有效手段,
性和准确性方面具有重要的现实意义和广泛的应用前景。
K最近邻目前文本分类方法主要包括决策树、(KNN)、关联规则、支持向量机(SVM)、贝叶斯算法(Bayes)、神经网络、粗糙集等。其中基于向量空间模型(VSM)的K最近邻(KNN)
[1]
征集缩减,将文本以特征向量的形式定义到实数域中;在分类阶段,按与训练阶段同样的方法将待分在训练集中找出与ti最类文本ti表示为特征向量,
相似的k个文本,以这k个近邻文本的类别作为候选类别,将ti与这k个文本的相似度作为k近邻文本所在类的类别权重,把ti归入到相似度最大的类别中。KNN算法的具体步骤如下。
(1)根据训练文本最终特征集合,将训练文本表示为向量空间中的特征向量;
(2)将待分类文本ti表示为和训练文本一致的特征向量di;
(3)计算待分类文本向量di和训练文本向量的公式为相似度,常用向量夹角余弦计算,
dTidj
S(di,dj)=cos(θ)=
‖di‖‖dj‖
向量长度。
(4)选择与di相似度最大的k个文本作为向量di的k个最近邻;
(5)根据di的k个最近邻,计算文本类别相应的权重,计算公式为
k
自动文本分类
算法,是一种简单、有效、非参数的方法,在准确率和召回率方面比较出众,是文本分类常用的分类器。
1KNN算法的基本思想及存在问题
KNN作为一种基于实例的文本分类算法,被认
(1)
式(1)中θ是两个向量di和dj的夹角,‖d‖表示
为是向量空间模型(VSM)下最好的分类算法之一
[2]
[3,4]
,。其思该算法分为训练和分类两个阶段
主要是一般特征的提取、特想是:在文本训练阶段,
2012年4月13日收到
教育部科学技术研究重点项目(208148)、
琼台师范高等专科学校项目(qtkz201006)资助
第一作者简介:苟和平(1978—),男,甘肃庆阳人,讲师,硕士研究mail:gou_he_ping@生,研究方向:分布式计算、数据挖掘。E-163.com。
p(di,Ck)=
S(di,dj)δ(dj,Ck)∑j=1
(2)
dj)表示文本向量di与文本向量dj之式(2)中S(di,
间的相似度;类别属性函数为
一种基于粗糙集的改进KNN文本分类算法_专业资料。K最近邻算法(KNN)被认为是向量空间模型下最好的分类算法之一。在准确率和召回率方面比较出众,但随着样本数量的增加...
基于粗糙集与改进KNN算法的文本分类方法的研究_专业资料。KNN算法是文本自动分类领域中的一种常用算法,对于低维度的文本分类,其分类准确率较高。然而在处理大量高维度...
2012 年第 2 期 2475 ( 2012 ) 02008604 文章编号: 1006- 计算机与现代化 JISUANJI YU XIANDAIHUA 总第 198 期 基于 粗糙 集与改进 KNN 算法的文本分类方法...
(2010)24—0175—03 文献标识码:A 2010 年 12 月 December 2010 中图分类号:TP391 ·人工智能及识别技术· 基于粗糙集的快速 KNN 文本分类算法孙荣宗 a,b,...
基于粗糙集理论的KNN分类_专业资料。粗糙集理论为研究不精确数据的分析、推理,挖掘数据间的关系、发现潜在的知识提供了有效的工具。在数据挖掘技术中KNN算法是一个实...
KNN ( K 最近邻算法) 在文本处理环境下的不足 , 根 据 SOM ( 自组织映射神经网络) 理论 、特征选取和模式聚合理论, 提出了一种改进的 KNN 文本 分类方法...
基于KNN算法的文本分类_计算机软件及应用_IT/计算机_专业资料。基于KN N算法的文本分类刘科(江西省儿童医院,江西南昌330006)摘要:本文介绍了数据挖掘‘11的一个分枝...
基于粗糙集与KNN的Web文本分类的研究_专业资料。为了从海量的信息资源库中快速、...混合算法进行了实验,同时结合传统的KNN方法对该混合算法进行比较,验证该算法的...
结合粗糙集的属性约简和RBF神经网络的分类机理,提出一种新的文本分类混合算法。试验结果表明,与朴素贝叶斯、SVM、kNN传统分类方法相比,该方法在保持分类精度的基础上,...
基于粗糙集与改进KNN算法... 暂无评价 4页 免费 一种新的基于SVM_KNN的W.....d e u . en ) 摘 , 要 自动文本分类技术是 一 种对电 子 文档进 行...
热门文档