第38卷 第11期2011年11月计算机科学
Comutercience SVol.38No.11
Nov2011
基于粗糙集理论的文本分类算法研究
223
林 珣1, 李志蜀 周 勇
12
())西南财经大学经济信息工程学院 成都6四川大学计算机学院 成都61007110064 (
3
()华兴职业技术学院 成都610071
摘 要 文本分类是中文信息处理的重要研究领域。给文本分配一个或多个不同的类别,可提高文本检索和存储的处理效率。粗糙集是一种不需要任何先验信息的分类方法,通过对文本分词、过滤掉停用词之后把剩余的词语作为特然后把文本用向量空间模型表示出来,将文本集转化成不带决策属性的信息系统,用粗糙集理论中核心内容属征项,
性约简实现对文本的分类。实验表明,该方法的查准率和查全率都有所提高。关键词 文本分类,粗糙集,约简
中图法分类号 TP391 文献标识码 A
TextClassificationAlorithmStudBasedonRouhSetTheor gygy
1223LIN XuniZhishuHOU Yon L - Zg
1(,(,)SchoolofEconomicInformationEnineerinSouthwesternUniversitofFinanceandEconomicsSWUFE)Chendu610074,China ggyg
2(,(,)SchoolofComuterSichuanUniversitSCU)Chendu610064,China pyg3(,)HuaxinVocationalandTechnicalColleeChendu610071,China ggg
,
Abstractextdatasetistransformedtoinformationsstem withoutattributeofdecisionmakinandthecorecontent T yg ofrecisionattributereductionhasbeenaliedtotextclassification.Exerimentshowsthattherateandrecallrateare pppp
;,inthismethodfurthermoreitdoesnotreuireanaprioriinformation.enhanced qy ,,KewordsextclassificationRouhsetReduction T gy
是中文信息处理重要的TextCateorization) 文本分类( g其目标是在分析文本内容的基础上,给文本分配一研究领域,
个或多个比较合适的类别,从而提高文本检索、存储等应用的处理效率。在常用的文本分类算法中,如支持向量机方法、K近邻方法、朴素贝叶斯方法、决策树方法,每个文本都用维数其向量维数通常高达上万维,即使处理特别高的向量来描述,能力最强的计算机也难以处理
[1]
…,是具有n个元素的非空集,称为对象空间,U={uuu1,2,n}…,也是一个非空有限U中的元素称为对象,A={aaa1,2,m}集,A中的元素a称为属性,V=∪Va,Va是属性a的值域,
a∈A
U×A→V是一个信息函数。f:
从信息系统的定义可以得到:
)(信息函数为每个对象的每个属性赋予一个信息值,即1
有f(a∈A,x∈U,x,a)Va;∈
()如果在对象集中没有重复元素,那么一个信息系统就2
是一个关系数据库。
定义2 在信息系统S=〈中,任意属性子集U,A,V,f〉(称二元关系ind(P)={x,a∈P,x,∈U×U|pA,y)f(
}为属性子集P的不可分辨关系。如果(a)=f(a)x,∈y,y),那么称X和Y是P不可分辨的。ind(P)
很显然,对于pA,不可分辨关系i是等价关nd(P)(简记为U/表示不可分辨关系i系。符号U/ind(P)P)nd(P)在U上导出的划分。
定义3 在信息系统S=〈中,属性子集A1U,A,V,f〉},/它们导出的等价类分别为:A,A2=A1∪{rUAXX1={1,2,,/…,,/…,如果对于任意XXUAY1,Y2,Ym}An}2={i∈U1都存在使得X则称属性r为A2中A1不必Y0∈U/A2,Y0,i或者称A1是A2的一个约简。要的,
。
很多学者运用粗糙集理论中的约简方法,约去不重要的信息,生成文本的分类规则。不过,文献[在应用粗糙集25]-利用人工把文本集划分成不同的类,并理论进行文本分类时,
且把每个文本归于不同的类,进而形成决策属性,把文本集形,成一个决策信息系统,再利用粗糙集中的约简方法。文献[6]利用模糊聚类的方法把文本集聚类,把文本归属于类的结7
果作为决策属性,生成决策信息系统,然后再利用粗糙集对决策表进行约简。这两种方法都存在着人为地把信息系统转化成决策系统的缺点,本文把文本集直接转化成信息系统,运用粗糙集理论对信息系统直接约简,找到文本集特征词约简后进而得到文本集的分类器。的特征词核集合,
1 基本概念
[9]
定义1为信息系统,其中U,A,V, 称四元组S=〈f〉
)到稿日期:资助。201012132011042560803106-- 返修日期:-- 本文受国家自然科学基金(
,:;,林 珣(女,博士生,讲师,主要研究方向为数据挖掘和商务智能,李志蜀(男,教授,博士生导1973-)E-maillinx_twufe.edu.cn1947-)@s,主要研究方向为计算机网络、智能控制等;周 勇(男,副教授,主要研究方向为数据挖掘、粗糙集等。师,1970-)
·239·
热门文档