4928科学技术与工程
表1
文本数及类别
训练文本数
740
3359443227335751741150
12卷
bndR(Si)=R(Si)-R(Si)。
Si的上近似空间半径ru和下近似空间半径rl其中,的计算分别为
→ru(Si)=max(dist(d,Ci)|d∈Si)。
→→
rl(Si)=max(dist(d,Ci)|d∈Si∧dist(d,Cj)>
ru(Sj))。
其中,Sj为S集合中不包含Si子类的其它所有子类。
因此,改进算法主要是根据训练文本的向量空间模型来计算训练文本集中各个子集的上、下近似空间半径ru和rl,计算待分类文本与各个文本子集该算法基的类中心距离来判断其属于哪一个类别,本步骤如下:
Step1:根据训练文本特征向量,利用公式(3)
→
2,...n)的类中心Ci。计算Si(i=1,
Step2:计算Si(i=1,2,...n)正域、负域和边界。
Step3:输入一个待分类文本向量d,利用公式→
(1)计算d与Ci(i=1,2,...n)的距离dist(d,→
Ci)(i=1,2,...n)。
→
Step4:c根据dist(d,Ci)判断d属于Si的正d出现在Si的正域,域、负域和边界。就将其直接归入Si;d出现在Si的负域,则其c不属于Si,将Si排d出现在Si的边界,除。则转Step5执行。
Step5:根据公式(1)找出d的k个最近邻,并根据公式(2)计算文本类别相应的权重,将d归入到权重最大的类别。
实验一实验二C6C37C35C5C29C3-ArtC4-LiteratureC5-EducationC6-PhilosophyC15-EnergyC16-ElectronicsC23-MineC29-TransportC35-LawC37-Military总数
测试文本数
742
3461453328345952761164
表2
查准率KNNRS-KNN0.68890.83640.60610.69570.8621
0.85710.68570.57350.60870.8824
实验一(k=15)
召回率
KNNRS-KNN0.68890.60530.76920.78690.8475
0.66670.63160.750.68850.7627
F1值KNN0.68890.70230.6780.73850.8547
RS-KNN0.750.65750.650.64620.8182
表3
查准率
KNNRS-KNN
C15C4C3C23C16
0.85710.46150.94990.53330.5517
0.76190.45160.9450.60.5
实验二(k=15)
召回率
KNNRS-KNN0.54550.70590.94610.47060.5714
0.48480.41180.9730.44120.5357
F1值KNN0.66670.55810.9480.50.5614
RS-KNN0.59260.43080.95880.50850.5172
表4实验用时
KNN2'11″
RS-KNN1'52″22'16″
32'37″
4实验测试与分析
为了验证算法的有效性和正确性,设计如下实
KNN算法中,在RS-下近似空间越大,在分类计算过程中落入其中的测试文本数就越多,文本相似度的计算量就越小,如果下近似空间越小,且落入则其文本相似度计算量边界中的测试文本数越多,将接近传统的KNN算法。
由于缩减了待分类文本的搜索空间,降低了分类计算开销。在数据量比较少的情况下,改进算法的分类速度提高不明显,但随着数据量的增加,分类速度有比较明显的提高。
验:实验环境为WindowsXPProfessional操作系统、AMDAthlon(th)5000+2.61GHz处理器、1G内存分词工具是采用中科院中和Eclipse集成开发工具,
文分词系统ICTCLAS,实验数据来自于复旦大学中文文本分类语料库,本文在测试时,选择了其中的10类(如表1所示),分两组进行实验,试验一中的训练文本分布比较均衡,而实验二中的训练文本存在类偏斜。实验结果如表2、表3、表4所示。
5结束语
传统的KNN算法在其分类过程中,需要计算待
一种基于粗糙集的改进KNN文本分类算法_专业资料。K最近邻算法(KNN)被认为是向量空间模型下最好的分类算法之一。在准确率和召回率方面比较出众,但随着样本数量的增加...
基于粗糙集与改进KNN算法的文本分类方法的研究_专业资料。KNN算法是文本自动分类领域中的一种常用算法,对于低维度的文本分类,其分类准确率较高。然而在处理大量高维度...
2012 年第 2 期 2475 ( 2012 ) 02008604 文章编号: 1006- 计算机与现代化 JISUANJI YU XIANDAIHUA 总第 198 期 基于 粗糙 集与改进 KNN 算法的文本分类方法...
(2010)24—0175—03 文献标识码:A 2010 年 12 月 December 2010 中图分类号:TP391 ·人工智能及识别技术· 基于粗糙集的快速 KNN 文本分类算法孙荣宗 a,b,...
基于粗糙集理论的KNN分类_专业资料。粗糙集理论为研究不精确数据的分析、推理,挖掘数据间的关系、发现潜在的知识提供了有效的工具。在数据挖掘技术中KNN算法是一个实...
KNN ( K 最近邻算法) 在文本处理环境下的不足 , 根 据 SOM ( 自组织映射神经网络) 理论 、特征选取和模式聚合理论, 提出了一种改进的 KNN 文本 分类方法...
基于KNN算法的文本分类_计算机软件及应用_IT/计算机_专业资料。基于KN N算法的文本分类刘科(江西省儿童医院,江西南昌330006)摘要:本文介绍了数据挖掘‘11的一个分枝...
基于粗糙集与KNN的Web文本分类的研究_专业资料。为了从海量的信息资源库中快速、...混合算法进行了实验,同时结合传统的KNN方法对该混合算法进行比较,验证该算法的...
结合粗糙集的属性约简和RBF神经网络的分类机理,提出一种新的文本分类混合算法。试验结果表明,与朴素贝叶斯、SVM、kNN传统分类方法相比,该方法在保持分类精度的基础上,...
基于粗糙集与改进KNN算法... 暂无评价 4页 免费 一种新的基于SVM_KNN的W.....d e u . en ) 摘 , 要 自动文本分类技术是 一 种对电 子 文档进 行...
热门文档