文本自动分类是信息检索与数据挖掘领域的研究热点与核心技术,近年来得到了广泛的关注和快速的发展.提出了基于机器学习的文本分类技术所面临的互联网内容信息处理等复杂应用的挑战,从模型、算法和评测等方面对其研究进展进行综述评论,认为非线性、数据集偏斜、标注瓶颈、多层分类、算法的扩展性及Web页分类等问题是目前文本分类研究的关键问题,并讨论了这些问题可能采取的方
维普资讯 doc.guandang.net
苏金树等:于机器学习的文本分类技术研究进展基
1 5 81
集成学习,称为多重学习或分类器组合,要通过决策优化 (ei o pi zt n或覆盖优化 (o ea e也主 d cs n o t ai ) i mi o c v rg
o t zt n两种手段将若干弱分类器的能力进行综合, pi ai ) mi o以优化分类系统的总体性能.决策优化对于不同的分类器均采用完整的样本集进行训练,时,测试通过对所有分类器的决策进行投票或评价 ( MY maoi oig,如 ( jr y v t ) t n W ( eg tdMV及 WL ( eg td ier o iain等。,定整个系统输出的类别; n et特定分类器看 w ihe ) C w ihe n a mbn t ) l c o确 ) Ben t将
作可靠性的指示(e a it n iao)统利用概率方法综合不同分类器的输出确定最后的决策[ rl bly idctr; i i系 4:和 1xu Z ag出一种将 S hn提 VM与 Roc i算法进行串行集成方法的思想,在 R cho算法快速处理全部文本向量后, cho即 oci
S VM对部分感兴趣的类别进行误差校正,用较低的计算代价换取重要类别的精度【覆盖优化对同一种学习采 ;用不同的训练子集,成参数不同的单分类器,单分类器决策的某种综合( WMV等)形这些如决定每测试样本的分类, B g ig和 B o t g方法【在 Bo s n方法的迭代过程中,一轮都关注上一轮的分类错误,如 a gn osn等 i; ot g i每用于提升 较弱的分类方法并获得了优于 S M的结果, a o s,和 AdBo s.等具体算法都有着广泛的应用【 . V Ad B ot MH a ot MR 引 T bl P o ete n fe t e e s f r o t f h a e o i a i n mo e so t o s a e1 r p risa d e c i n s o s ec t g rz t d l r v m o t o me h d
表 1主要分类模型或方法的性质和效果 Mo e rme h d d 1 tO e O Ex mp e fag rt m r a l so o h o l i I p e e
tto ̄ m lm n a i n CR② HD@ B Be t e te . s p f r Re r ma
P O a is c rbblt ii De ii n r l c so u e Re r s i n g e so Li e r n a
N ieB y s NB av a e ( ) DL- C,S ES CAR, p e, wa一 Ri p r S p 1 L LS, F LR, RR[5 41
√ √√ √ √ √
07 3 .7 07 4 . 9 0.2 83 089 4 .
E s, ih y e e do a i iuin a y h g l p n nd t ds b t d a t r o Of n u e sb s - n s r l tv l a t s d a a el e, e a i ey we k e i Ef c i eb tc mp t o ty f t u o e v u i c s l ng We k rb tsmp e a d e i i n a e u i l n f ce t No d l s d T twi ey u e C I e ce t n o l e c a sfc tO n f i n n i 1 s ii a in i i n S ae o rse f c i e e s tt fat fe t n s v No d l s d a d t se e t wi e yu e n t d y t e Bo tn t o se e t e a d p p lr osi g meh d f c i n o u a v Co mplx i l s i e o sr c i n e c a sf rc n tu t n i o’ mp o e n ma l I r v me ti as l Chie e c r us n n s op Ef c i eb t o d l s d i tv u twi e y u e e n’ l c u a y r p re On ya c r c e o d t’ t rt a c h o i h a e t Be t n Ro c i n t e s me t s e h No x e sv l o f e te t n i e yc n i m r d’ l t se i a Ch n s c r u On y e t d n iee o p s et td si ma e
D cs nt e( ) I 3 C ., AR e i o e DT D, 45 C T i r
On Li e - n
Wi n w, i d o Ho f e c n o W n r w- f, t .
√
0. 2 82
C n odB sdR cho(n’e
h ne n )√ et i- ae oc i a dis n acmeB r t Ne r l e wo k ua t r s n I sa c . s d n tn eBa e S M V E e ns mb e la n n l e r i g P r e t o Cl s i Nn t e c p n, a s, r e . NN S VM h Li S g b VM[ . 1 44 67 ,
079 .9 08 8 .3 √ √ √ √ 08 6 5 09 0 2 .
√
Mv. g i g Ba g n W LC, DCS, ACC,a a O S db Ot√ √
N/ A 0.7 8 8 085 7 .
S TRI E 1 V[ E n e l e r i g s mb e l a n n S VM t c h o e s rbl[ wi Ro c i n e h u e 1 Ma i x mum n o L . e t py r i KAZAMA[3 4 3, 1 3 F zy u z T r p o . iti e m r b d sr. Lu i .W i 3 n e o 3 1 d, tr[ 3 a I 6 KLD a e/】 b sd
√ √ √ √
+0 0 9’ l .
08 45 .
0 8 2’ 9 .
06 l 7’ .
Bi i nso a d me i n l
He rsi p r a h 6 u tca p o c【l i √
√√
08 l 7 .
M D n a dER b s d S ae ECTI 2 I LE[ 6
> 0 .
9 0 5’
Wus eie n R cho f e I1’R f met n oci/ ri 2 NB e n d 5 Ts y sr fn me t Ro c i e i e I a’ e e n i c h o r fn d【 Ge e .n t n e s t GI R E W【’ n r i sa c e S. GI . 3 1 Dr g u h n a p s ig R CC, NB[, 1 R 23 79
√ √ √ √
0909 6 Alt o pe ann ./ 2 te m l i t iig ilc x nr + 01 0 8 .
I p o e e t a Ch n s o u m r v m n, i e ec r s p
08 0 6 .
Mo ee fc e t h n k NN n t si g r f in a - i t i e tn E s n o a y a d c mp t t n ly e i int u a i a l f ce o
08 9 5
Lna ic . rj SMP[ ier
sr po. I L 1 d i LS k m e【8 e l 1 4 W ih S t VM
√√ √ √
> .8 O80 09 3 0 .
’ s ma dfI1 eo e aa E t t T p r ddt i e o Ir t q e x n i e marx p o e sn e d e pe sv t r c s i g i
W o d s q k r e I I Wi VM r e . e l4 n 9 t S h S i g k r e/,l r t n e n l O 1 Wih S t VM
√ √ √ √
0 .
o .
95 ̄ml diepni in 1 opxnt edgn ai ea s nitn g m r
81 I s ado prd a 6 * t t r r oe da’ E i efm e t t m
表1中数字角标表示的是:模型方法;算法实例或实现;是否 cas akn①②③ l n ig方法 (出测试文本关 sr输于每个类的相对形似性参考值或排序)是否 h r.ei o方法(出测试文本的类别标记);④ add cs n i输;是否是二值⑤ (iay方法( bn r)方法接受或拒绝当前类,出± ) ( ues2 5 8子集上)道的最好分类效果(均的 B PFl输 1; r tr.1 7⑥ e报平 E,
或精度值,测试条件不同,结果仅供参考)评注. 1;⑦表的前两部分给出了上述以及文献[中涉及的部分方法的 1] 主要特征及其在 R ues2 5 8某些子集上( e t .1 7 r或个别其他语料)上所报道的最好效果指标(均的 B PFI平 E,或精度值 )由于测试集合和测试条件的差异, .指标的数值仅作为方法效果的参考,能完全作为方法效果间比较的不 依据,

E-mail: jos@iscas.ac.cn http://www.jos.org.cn Tel/Fax: +86-10-62562563 基于机器学习的文本分类技术研究进展苏金树 1, 张博锋 1+, 徐昕 1,2 1 ...
E-mail: jos@iscas.ac.cn http://www.jos.org.cn Tel/Fax: +86-10-62562563 基于机器学习的文本分类技术研究进展苏金树 1, 张博锋 1+, 徐昕 1,2 1 ...
(南京师范大学地理信息科学江苏省重点实验室,南京210097) 摘要 文本自动分类是目前最常用的文本信息自动处理技术,也是机器学习、自然语言处理和信息检索领域的 研究热点...
; 2. 解放军理工大学指挥自动化学院计算机系 ,江苏 南京 210007) 摘要 : 基于机器学习的文本分类是近年来信息检索领域的热门研究技术 , 并且取得了较大进展 。...
基于机器学习的文本分类方法综述_专业资料。文本分类是信息检索与数据挖掘领域的核心技术,是机器学习领域新的研究热点。本文对现有的基于机器学习的文本分类方法进行...
队,江苏南京210007;2.解放军理工大学指挥自动化学院计算机系。江苏南京210007) 摘要:基于机器学习的文本分类是近年来信息检索领域的热门研究技术,并且取得了较大进展。...
基于机器学习的维吾尔文文本分类研究_专业资料。随着Internet上维吾尔文信息的迅速发展,维吾尔文文本分类成为处理和组织这些大量文本数据的关键技术。研究维吾尔文文本分类...
吴科 申请学位级别:博士 专业:计算机软件与理论 指导教师:吕宝粮 20080501 基于机器学习的文本分类研究摘要随着信息技术尤其是因特网相关技术的发展与成熟,人们可...
基于机器学习算法的文本分类方法综述摘要: 文本分类是机器学习领域新的研究热点。...文本分类方法, 讨论了各种 方法的优缺点,并指出了文本分类方法未来可能的发展...
苏德富 20070601 10于机器掌习的文事分兵算法研究 基于机器学习的文本分类算法研究 摘要 随着计算机技术、数据库技术、网络技术的飞速发展和I nternet 的日益普及,在...
热门文档