文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 基于隐马尔可夫模型的文本分类算法
侵权投诉

基于隐马尔可夫模型的文本分类算法

自动文本分类领域近年来已经产生了若干成熟的分类算法,但这些算法主要基于概率统计模型,没有与文本自身的语法和语义建立起联系。提出了将隐马尔可夫序列分析模型(HMM)用于自动文本分类的算法,首先构造表示文档类别的特征词集合,并以文档类别的特征词序列作为不同HMM分类器的观察序列,而HMM的状态转换序列则隐含地表示了不同类别文档内容的形成演化过程。分类时,具有最大生成概

第 3第 9期 0卷 21 0 0年 9月

计算机应用 Ju n l fC mp trAp l ain o ra o ue pi t s o c o

V0 . 0 No. 13 9 S p. e 201 0

文章编号:0 1 9 8 (0 0 0 2 4 0 10— 0 1 2 1 )9— 3 8— 3

基于隐马尔可夫模型的文本分类算法 杨健,海航汪 (b l 1@ 16 CB sj 2 5 2 .O ) c

(. 1同济大学电子与信息工程学院,上海 2 10; 2大理学院数学与计算机学院, 084 .云南大理 6 10 ) 70 3

摘

要:自动文本分类领域近年来已经产生了若干成熟的分类算法,这些算法主要基于概率统计模型,有与但没

文本自身的语法和语义建立起联系。提出了将隐马尔可夫序列分析模型( MM) H用于自动文本分类的算法,首先构造 表示文档类别的特征词集合,以文档类别的特征词序列作为不同 H并 MM分类器的观察序列, H而 MM的状态转换序列则隐含地表示了不同类别文档内容的形成演化过程。分类时,具有最大生成概率的 HMM分类器类标即为测试文档的分类结果。该算法构造的分类器模型一定程度上体现了不同类别文档的语法和语义特征,并可以实现多类别的 自动文本分类,类效率较高。分

关键词:文本分类;隐马尔可夫模型;信息增益;2 )检验; (词频一反文档频率 中图分类号: P 8 T 12文献标志码: A

Te tc a sfc to l o ih s d o dd n a ko o l x l s i a i n a g r t m ba e n hi e M r v m de i Y ANG Ja W ANG Ha.a g in一. i n h ( .Sho l t n s n fr tn og nvrt h nh i 0 8,C i; 1 colfEe r i d l ot i,T nfU i sy o co ca n n o a i e i,S ag a 10 2 4 hn a 2 col te ai n o p t c ne aiU i rt,D l Y na 7 0 3 hn ) .Sho Mahm ts dC m ue Si c,D l nv sy ai un n6 0,C ia f o ca r e ei 1 A b tac: A mbe f s p siae a o tc e tc a sfc to lo ih s h v b e r po e n e e ty a s b

t sr t nu ro o hitc td utma i tx l si a in ag rt m a e e n p o s d i r c n e r, u i to e a g rtm sa e m any ba e n t o bii n sa itc lm o l n v t sa ih d ea in hi wih t h s lo h r il s d o he prba lt a d ttsia des a d ha e no e tbls e a r lto s p i y t he

sn xadsmat fet nti ppr e uo a ct t ls fai l rh s gH d e ro oe ( M) yt n e ni o x.I s a e,anw at t x cas ct nag i m ui idnMa vM dl HM a c t h m i e i i o ot n k w sp o o e .At rt e tr e sb i od sig i h o u n p s h n t e df r n e u n e f e t r o d a r p s d s,af au e s t i f wa ul t i n u s te d c me t y e .T e h i e e ts q e c so au e w r s t t h t f f we er g r e s t fe e b e v to s g n r td b r e a d d a he di rnto s r ai n e e ae y HM M ca sfe s Th tt r n i o e ue c f a s e i c f l s i r. i e sae ta st n s q n e o p cf HM M i i

c a s e mp id t e p o e s o o u n’ fr t n a d e ou i n i p cfc d c me t tp . W h n a d c me t w s l si ri l h r c s f d c me t o ma i n v l t n a s e i o u n y e i f e S o o i e o u n. a c a sfe ls i d, t e r s l s c e td b h i h e u twa r ae y te HM M ca sfe lsi rwhih c u d e h ge ts en r to r ba lt c o dig t he i c o l g tt e r ae tg e ain p o bii a c r n o t y do ume t To s m ee tnt s me s ntci n e n i e

t e fd fee tdo ume twe e r p e e td b h ls i c to c n . o x e, o y a tc a d s ma tc faur so ifr n c n r e r s ne y te ca sf ain i m o 1 The mo e a e a ple o a t mai lic tg r e tca sfc to a tha i h ca sfc to f ce y. de. d lc n b p id t u o tc mu t— ae oy t x ls i ain, nd i s h g ls i ai n ef inc i i i

K y od:et ls c i;Hde a o oe ( M ) n rao a;) t t e r uny ne e e rs t a i ao w x c sf tn i nM r vM dl H M;io tngi ( e;Tr Fe ec— v s i d k fm i n 2s m q I r Do u n rq e c T— ) c me tF e u n yf F I DF

0引言 文本分类是现代信息处理中一个重要任务,是文本挖掘 中的一个重要环节,建立面向特定领域的主题搜索引擎构在建中也非常重要。自动文本分类经过多年的研究已经产生了

习方法和分类步骤。模型隐含了特征词的语义关联,能够进行多类别文本自动分类,分类效率较高。

1 H MM模型及相关的研究工作 1 1隐马尔可夫模型 . H MM是一种基于统计的序列分析和学习模型,由 B u 是 am

许多优秀的模型和算法。研究中比较多的有支持向量机 (u pr V co Mahn, V、 S pot etr cie S M) K近邻 (— ers N iho, K N aet e br g K N)朴素贝叶斯 ( av ae, B等算法, N、 N i B ysN ) e并且这些算法 的一些改进模型和分类过程中涉及的文本表示、词、征选分特择等领域也得到了进一步的探索。

等人在 2 0世纪 6 0年代末至 7 0年代初建立起来的,近年来在信息技术领域颇受重视,在语音识别、自然语言处理和文本挖掘上已经有了相应的应用。基于 H MM信息处理模型易于建 立,大规模的词典集和规则集,且将词汇的概率分布特不需并

可以看到,统计学理论在文本分类算法中有非常重要的地位。然而传

统统计学模型将特征词的出现频率作为分类算法的直接依据,没有充分考虑特征词在不同类型文本中或上下文中的本质作用,即包含的语法和语义信息。并且,在语义网及文本表示本体技术仍需进一步发展的条件下,需要将新

征用于模型建立,比人工神经网络 ( rf i er e ok, At c N ua N t rs i a il l w A N) N等模型易于理解,能部分反映出文本的语义性质。 一

个 H MM模型是不确定的、机的有限状态自动机, 随由

不可观测的状态转移过程 (一个 Makv ) ro链和可观测的观察 生成过程组成。按观察值是离散还是连续的, MM可分为离 H

型的概率统计模型与文本分类等信息处理研究结合起来。本 文建立基于隐马尔可夫模型 ( idnM ro o e, MM) Hd e akvM dlH的 文本分类模型,出了模型结构,详细介绍了 H提并 MM参数学

散型 H MM和连续型 HM M。在文本分类中,计算的是离散的词的分布特征,因此下面只介绍离散 H MM表示。 离散 H MM是一个五元组:={ M, A,,以简 A N,仃, B}可

收稿日期:0 0—0 0修回日期:0 0—— 7 21 3— 8; 21 0 2。 4基金项目:上海市科委科技支撑计划项目( 7 72 3 ) 0 2 10 6。作者简介:健 ( 9 6一)男,江上虞人,师,士研究生, C杨 17,浙讲博 C F会员,要研究方向:能信息系统;汪海航 ( 9 5一)男,江奉化主智 16,浙

人,教授,博士生导师,主要研究方向:信息安全、智能信息系统、电子商务。

基于隐马尔可夫模型的文本分类算法

第1页

你可能喜欢

  • 马尔可夫随机场
  • 条件随机场
  • 图像分割
  • 马尔科夫随机场
  • 烛之武退秦师
  • 哼唱检索
  • 动态贝叶斯网络
  • 系统可靠性

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email