文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 中文文本分类中特征抽取方法的比较研究
侵权投诉

中文文本分类中特征抽取方法的比较研究

中文文本分类中特征抽取方法的比较研究

中

第!"卷第!期文信息学报234#!"%3#!!"#$%&’"()*+%,-,+%("$.&/+"%0$"),--+%1

文章编号:()!$$%&$$’’($$)$!&$$(*&$’

中文文本分类中特征抽取方法的比较研究!

(,代六玲!,黄河燕(,陈肇雄(

(南京(;!#南京理工大学计算机科学系,!$$+)

北京!)(#中国科学院计算机语言信息工程研究中心,$$$"%

摘要:本文比较研究了在中文文本分类中特征选取方法对分类效果的影响。考察了文档频率,、信息增-益.互信息0、(3和5/、.(分布12.四种不同的特征选取方法。采用支持向量机40)66两种不同的分类!

器以考察不同抽取方法的有效性。实验结果表明,在英文文本分类中表现良好的特征抽取方法(./、0.和)在不加修正的情况下并不适合中文文本分类。文中从理论上分析了产生差异的原因,并分析了可能的12.

矫正方法包括采用超大规模训练语料和采用组合的特征抽取方法。最后通过实验验证组合特征抽取方法的有效性。

关键词:计算机应用;中文信息处理;文本自动分类;特征抽取;支持向量机;566

中图分类号:78!"文献标识码:9

&)357879:;<-9=>@(<79=8<-<4<A9:3@:@)B:@<C</<D9)79<38:F79:3@6?3E

!((,(,9.:;<=>;?2A96/2B=D?12E6FGDH=I;H?@,C@,

(,,;!#,BDKLMB?LHN1HM<LBK3O;B?OB6A37,6D?;?!$$+)1G;?DJJP@(

,,,)(#:D?<DB.?NHKMDL;H?E?;?BBK;?193QB;;?$$$"%1G;?D@@@@P@!

:&GC987A97G;RDBK;RDOHMDKDL;SBRL<TNNBDL<KBRB>BOL;H?MBLGHTR;?LBILODLBHK;UDL;H?V-H<KMBLGHTRWBKBJJJCH@

(,(,,(,M(0)BSD><DLBT;?O><T;?HO<MB?LNKB<B?O-);?NHKMDL;H?@D;?./)<L<D>;?NHKMDL;H?.D?T!=LBRL@TXC

(1)(3(52.V93<HKL4BOLHK0DOG;?B40)D?TDY=?BDKBRL?B;GZHK66)WBKBRB>BOLBTDRLGBBSD><DL;?O>DRR;=JJ@@

,N;BKRV[BNH<?T./,0.D?T12.GDTHHKBKNHKMD?OB;?H<KLBRLLGH<GLGBZBGDSBWB>>;?E?>;RGLBILODLBH=JJ@C@@

K;UDL;H?V[BD?D>UBTLGBKBDRH?RLGBHKBL;OD>>D?TJ<LNHKWDKTBTLGBJHRR;Z>BRH><L;H?RV9N<KLGBKMHKBBIBK;MB?LCCJKHSBTLGDLLGBOHMZ;?BTNBDL<KBRB>BOL;H?MBLGHT;RBNNBOL;SBVJ

:;;;;H<38>COHM<LBKD>;ODL;H?1G;?BRB;?NHKMDL;H?JKHOBRR;?LBILODLBHK;UDL;H?NBDL<KBRB>BOL;H?340;566JJJ@@?I

J引言

文本自动分类任务是对未知类别的文字文档进行自动处理,判别它们所属预定义类别集中的一个或多个类别。随着各种电子形式的文本文档以指数级的速度增长,有效的信息检索、内容管理及信息过滤等应用变得越来越重要和困难。文本自动分类是一个有效的解决办法,已成为一项具有实用价值的关键技术。近年来,多种统计理论和机器学习方法被用来进行文本的自动分类,掀起了文本自动分类的研究和应用的热潮。

!收稿日期:($$%&$+&((

基金项目:国家自然科学基金资助项目()*$(’($""

作者简介:代六玲(—),男,博士研究生,主要研究方向为中文信息处理V!+’’

(*万方数据

第1页

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email