文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 互联网 > 一种基于粗糙集的改进KNN文本分类算法_苟和平
侵权投诉

一种基于粗糙集的改进KNN文本分类算法_苟和平

4928科学技术与工程

表1

文本数及类别

训练文本数

740

3359443227335751741150

12卷

bndR(Si)=R(Si)-R(Si)。

Si的上近似空间半径ru和下近似空间半径rl其中,的计算分别为

→ru(Si)=max(dist(d,Ci)|d∈Si)。

→→

rl(Si)=max(dist(d,Ci)|d∈Si∧dist(d,Cj)>

ru(Sj))。

其中,Sj为S集合中不包含Si子类的其它所有子类。

因此,改进算法主要是根据训练文本的向量空间模型来计算训练文本集中各个子集的上、下近似空间半径ru和rl,计算待分类文本与各个文本子集该算法基的类中心距离来判断其属于哪一个类别,本步骤如下:

Step1:根据训练文本特征向量,利用公式(3)

→

2,...n)的类中心Ci。计算Si(i=1,

Step2:计算Si(i=1,2,...n)正域、负域和边界。

Step3:输入一个待分类文本向量d,利用公式→

(1)计算d与Ci(i=1,2,...n)的距离dist(d,→

Ci)(i=1,2,...n)。

→

Step4:c根据dist(d,Ci)判断d属于Si的正d出现在Si的正域,域、负域和边界。就将其直接归入Si;d出现在Si的负域,则其c不属于Si,将Si排d出现在Si的边界,除。则转Step5执行。

Step5:根据公式(1)找出d的k个最近邻,并根据公式(2)计算文本类别相应的权重,将d归入到权重最大的类别。

实验一实验二C6C37C35C5C29C3-ArtC4-LiteratureC5-EducationC6-PhilosophyC15-EnergyC16-ElectronicsC23-MineC29-TransportC35-LawC37-Military总数

测试文本数

742

3461453328345952761164

表2

查准率KNNRS-KNN0.68890.83640.60610.69570.8621

0.85710.68570.57350.60870.8824

实验一(k=15)

召回率

KNNRS-KNN0.68890.60530.76920.78690.8475

0.66670.63160.750.68850.7627

F1值KNN0.68890.70230.6780.73850.8547

RS-KNN0.750.65750.650.64620.8182

表3

查准率

KNNRS-KNN

C15C4C3C23C16

0.85710.46150.94990.53330.5517

0.76190.45160.9450.60.5

实验二(k=15)

召回率

KNNRS-KNN0.54550.70590.94610.47060.5714

0.48480.41180.9730.44120.5357

F1值KNN0.66670.55810.9480.50.5614

RS-KNN0.59260.43080.95880.50850.5172

表4实验用时

KNN2'11″

RS-KNN1'52″22'16″

32'37″

4实验测试与分析

为了验证算法的有效性和正确性,设计如下实

KNN算法中,在RS-下近似空间越大,在分类计算过程中落入其中的测试文本数就越多,文本相似度的计算量就越小,如果下近似空间越小,且落入则其文本相似度计算量边界中的测试文本数越多,将接近传统的KNN算法。

由于缩减了待分类文本的搜索空间,降低了分类计算开销。在数据量比较少的情况下,改进算法的分类速度提高不明显,但随着数据量的增加,分类速度有比较明显的提高。

验:实验环境为WindowsXPProfessional操作系统、AMDAthlon(th)5000+2.61GHz处理器、1G内存分词工具是采用中科院中和Eclipse集成开发工具,

文分词系统ICTCLAS,实验数据来自于复旦大学中文文本分类语料库,本文在测试时,选择了其中的10类(如表1所示),分两组进行实验,试验一中的训练文本分布比较均衡,而实验二中的训练文本存在类偏斜。实验结果如表2、表3、表4所示。

5结束语

传统的KNN算法在其分类过程中,需要计算待

上一页第3页

你可能喜欢

  • 文本分类论文
  • 力和运动分类
  • 文本聚类
  • 文献的类型
  • 平面镜成像实验创新改进论文

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email