中文文本分类中特征抽取方法的比较研究
中
第!"卷第!期文信息学报234#!"%3#!!"#$%&’"()*+%,-,+%("$.&/+"%0$"),--+%1
文章编号:()!$$%&$$’’($$)$!&$$(*&$’
中文文本分类中特征抽取方法的比较研究!
(,代六玲!,黄河燕(,陈肇雄(
(南京(;!#南京理工大学计算机科学系,!$$+)
北京!)(#中国科学院计算机语言信息工程研究中心,$$$"%
摘要:本文比较研究了在中文文本分类中特征选取方法对分类效果的影响。考察了文档频率,、信息增-益.互信息0、(3和5/、.(分布12.四种不同的特征选取方法。采用支持向量机40)66两种不同的分类!
器以考察不同抽取方法的有效性。实验结果表明,在英文文本分类中表现良好的特征抽取方法(./、0.和)在不加修正的情况下并不适合中文文本分类。文中从理论上分析了产生差异的原因,并分析了可能的12.
矫正方法包括采用超大规模训练语料和采用组合的特征抽取方法。最后通过实验验证组合特征抽取方法的有效性。
关键词:计算机应用;中文信息处理;文本自动分类;特征抽取;支持向量机;566
中图分类号:78!"文献标识码:9
&)357879:;<-9=>@(<79=8<-<4<A9:3@:@)B:@<C</<D9)79<38:F79:3@6?3E
!((,(,9.:;<=>;?2A96/2B=D?12E6FGDH=I;H?@,C@,
(,,;!#,BDKLMB?LHN1HM<LBK3O;B?OB6A37,6D?;?!$$+)1G;?DJJP@(
,,,)(#:D?<DB.?NHKMDL;H?E?;?BBK;?193QB;;?$$$"%1G;?D@@@@P@!
:&GC987A97G;RDBK;RDOHMDKDL;SBRL<TNNBDL<KBRB>BOL;H?MBLGHTR;?LBILODLBHK;UDL;H?V-H<KMBLGHTRWBKBJJJCH@
(,(,,(,M(0)BSD><DLBT;?O><T;?HO<MB?LNKB<B?O-);?NHKMDL;H?@D;?./)<L<D>;?NHKMDL;H?.D?T!=LBRL@TXC
(1)(3(52.V93<HKL4BOLHK0DOG;?B40)D?TDY=?BDKBRL?B;GZHK66)WBKBRB>BOLBTDRLGBBSD><DL;?O>DRR;=JJ@@
,N;BKRV[BNH<?T./,0.D?T12.GDTHHKBKNHKMD?OB;?H<KLBRLLGH<GLGBZBGDSBWB>>;?E?>;RGLBILODLBH=JJ@C@@
K;UDL;H?V[BD?D>UBTLGBKBDRH?RLGBHKBL;OD>>D?TJ<LNHKWDKTBTLGBJHRR;Z>BRH><L;H?RV9N<KLGBKMHKBBIBK;MB?LCCJKHSBTLGDLLGBOHMZ;?BTNBDL<KBRB>BOL;H?MBLGHT;RBNNBOL;SBVJ
:;;;;H<38>COHM<LBKD>;ODL;H?1G;?BRB;?NHKMDL;H?JKHOBRR;?LBILODLBHK;UDL;H?NBDL<KBRB>BOL;H?340;566JJJ@@?I
J引言
文本自动分类任务是对未知类别的文字文档进行自动处理,判别它们所属预定义类别集中的一个或多个类别。随着各种电子形式的文本文档以指数级的速度增长,有效的信息检索、内容管理及信息过滤等应用变得越来越重要和困难。文本自动分类是一个有效的解决办法,已成为一项具有实用价值的关键技术。近年来,多种统计理论和机器学习方法被用来进行文本的自动分类,掀起了文本自动分类的研究和应用的热潮。
!收稿日期:($$%&$+&((
基金项目:国家自然科学基金资助项目()*$(’($""
作者简介:代六玲(—),男,博士研究生,主要研究方向为中文信息处理V!+’’
(*万方数据
中文文本分类中特征提取的方法_专业资料。讨论了文本分类系统中的特征提取方法.探讨了文档频率(DF)、信息增益(IG)、互信息算法(MI)三种不同的特征提取方法对中文...
中文文本分类中特征提取方法的比较与改进 目前有多种特征提取方法用于文本自动分类,其中CHI方法效果较好,研究发现CHI方法存在着词与类别的无独立性假设及计算复杂度...
本文主要的研究工作如下: ① 分析了对文本分类过程及关键技术,研究了文本特征特征提取方法。通过 对基于过滤模型的几种常用特征提取方法分析比较后,发现文本特征提取...
为了验证提出的改进 TFIDF 方法的正确性及其遗传算法用于中文文本分类的 效果,本文进行了两个实验:1)将传统的和改进的算法提取的特征词用于 KNN 算 法分类的对比...
中文文本分类特征表示及分类方法比较研究_周雪忠_教育学/心理学_人文社科_专业...征抽取 方法 或 分类 方法 的研 究【 ] 【 l 1 【 3 , 验结 果也 ...
文本分类中特征提取方法的比较与分析_专业资料。研究了在文本分类中,各种特征提取方法对分类效果的影响.比较了特征提取方法交叉熵(CE)、信息增益(IG)、互信息(MI...
中文文本分类中特征选择方法的比较研究_专业资料。文本分类的主要任务是在预先... 中文文本分类中特征提取... 33人阅读 4页 2.00 基于多特征选择的中文...
文本分类中特征提取方法的比较改进_数学_自然科学_专业资料 暂无评价
中文文本分类中特征选择方法的研究_专业资料。本文研究了文档频率DF、信息增益IG、互信息MI、x2分布(CHI)、期望交叉熵、优势率、文本证据权七种不同的特征选取...
中文文本分类中特征选择方法的研究_专业资料。本文研究了文档频率DF、信息增益IG、互信息MI、x2分布(CHI)、期望交叉熵、优势率、文本证据权七种不同的特征选取...
热门文档