自动文本分类领域近年来已经产生了若干成熟的分类算法,但这些算法主要基于概率统计模型,没有与文本自身的语法和语义建立起联系。提出了将隐马尔可夫序列分析模型(HMM)用于自动文本分类的算法,首先构造表示文档类别的特征词集合,并以文档类别的特征词序列作为不同HMM分类器的观察序列,而HMM的状态转换序列则隐含地表示了不同类别文档内容的形成演化过程。分类时,具有最大生成概
第 3第 9期 0卷 21 0 0年 9月
计算机应用 Ju n l fC mp trAp l ain o ra o ue pi t s o c o
V0 . 0 No. 13 9 S p. e 201 0
文章编号:0 1 9 8 (0 0 0 2 4 0 10— 0 1 2 1 )9— 3 8— 3
基于隐马尔可夫模型的文本分类算法 杨健,海航汪 (b l 1@ 16 CB sj 2 5 2 .O ) c
(. 1同济大学电子与信息工程学院,上海 2 10; 2大理学院数学与计算机学院, 084 .云南大理 6 10 ) 70 3
摘
要:自动文本分类领域近年来已经产生了若干成熟的分类算法,这些算法主要基于概率统计模型,有与但没
文本自身的语法和语义建立起联系。提出了将隐马尔可夫序列分析模型( MM) H用于自动文本分类的算法,首先构造 表示文档类别的特征词集合,以文档类别的特征词序列作为不同 H并 MM分类器的观察序列, H而 MM的状态转换序列则隐含地表示了不同类别文档内容的形成演化过程。分类时,具有最大生成概率的 HMM分类器类标即为测试文档的分类结果。该算法构造的分类器模型一定程度上体现了不同类别文档的语法和语义特征,并可以实现多类别的 自动文本分类,类效率较高。分
关键词:文本分类;隐马尔可夫模型;信息增益;2 )检验; (词频一反文档频率 中图分类号: P 8 T 12文献标志码: A
Te tc a sfc to l o ih s d o dd n a ko o l x l s i a i n a g r t m ba e n hi e M r v m de i Y ANG Ja W ANG Ha.a g in一. i n h ( .Sho l t n s n fr tn og nvrt h nh i 0 8,C i; 1 colfEe r i d l ot i,T nfU i sy o co ca n n o a i e i,S ag a 10 2 4 hn a 2 col te ai n o p t c ne aiU i rt,D l Y na 7 0 3 hn ) .Sho Mahm ts dC m ue Si c,D l nv sy ai un n6 0,C ia f o ca r e ei 1 A b tac: A mbe f s p siae a o tc e tc a sfc to lo ih s h v b e r po e n e e ty a s b
t sr t nu ro o hitc td utma i tx l si a in ag rt m a e e n p o s d i r c n e r, u i to e a g rtm sa e m any ba e n t o bii n sa itc lm o l n v t sa ih d ea in hi wih t h s lo h r il s d o he prba lt a d ttsia des a d ha e no e tbls e a r lto s p i y t he
sn xadsmat fet nti ppr e uo a ct t ls fai l rh s gH d e ro oe ( M) yt n e ni o x.I s a e,anw at t x cas ct nag i m ui idnMa vM dl HM a c t h m i e i i o ot n k w sp o o e .At rt e tr e sb i od sig i h o u n p s h n t e df r n e u n e f e t r o d a r p s d s,af au e s t i f wa ul t i n u s te d c me t y e .T e h i e e ts q e c so au e w r s t t h t f f we er g r e s t fe e b e v to s g n r td b r e a d d a he di rnto s r ai n e e ae y HM M ca sfe s Th tt r n i o e ue c f a s e i c f l s i r. i e sae ta st n s q n e o p cf HM M i i
c a s e mp id t e p o e s o o u n’ fr t n a d e ou i n i p cfc d c me t tp . W h n a d c me t w s l si ri l h r c s f d c me t o ma i n v l t n a s e i o u n y e i f e S o o i e o u n. a c a sfe ls i d, t e r s l s c e td b h i h e u twa r ae y te HM M ca sfe lsi rwhih c u d e h ge ts en r to r ba lt c o dig t he i c o l g tt e r ae tg e ain p o bii a c r n o t y do ume t To s m ee tnt s me s ntci n e n i e
t e fd fee tdo ume twe e r p e e td b h ls i c to c n . o x e, o y a tc a d s ma tc faur so ifr n c n r e r s ne y te ca sf ain i m o 1 The mo e a e a ple o a t mai lic tg r e tca sfc to a tha i h ca sfc to f ce y. de. d lc n b p id t u o tc mu t— ae oy t x ls i ain, nd i s h g ls i ai n ef inc i i i
K y od:et ls c i;Hde a o oe ( M ) n rao a;) t t e r uny ne e e rs t a i ao w x c sf tn i nM r vM dl H M;io tngi ( e;Tr Fe ec— v s i d k fm i n 2s m q I r Do u n rq e c T— ) c me tF e u n yf F I DF
0引言 文本分类是现代信息处理中一个重要任务,是文本挖掘 中的一个重要环节,建立面向特定领域的主题搜索引擎构在建中也非常重要。自动文本分类经过多年的研究已经产生了
习方法和分类步骤。模型隐含了特征词的语义关联,能够进行多类别文本自动分类,分类效率较高。
1 H MM模型及相关的研究工作 1 1隐马尔可夫模型 . H MM是一种基于统计的序列分析和学习模型,由 B u 是 am
许多优秀的模型和算法。研究中比较多的有支持向量机 (u pr V co Mahn, V、 S pot etr cie S M) K近邻 (— ers N iho, K N aet e br g K N)朴素贝叶斯 ( av ae, B等算法, N、 N i B ysN ) e并且这些算法 的一些改进模型和分类过程中涉及的文本表示、词、征选分特择等领域也得到了进一步的探索。
等人在 2 0世纪 6 0年代末至 7 0年代初建立起来的,近年来在信息技术领域颇受重视,在语音识别、自然语言处理和文本挖掘上已经有了相应的应用。基于 H MM信息处理模型易于建 立,大规模的词典集和规则集,且将词汇的概率分布特不需并
可以看到,统计学理论在文本分类算法中有非常重要的地位。然而传
统统计学模型将特征词的出现频率作为分类算法的直接依据,没有充分考虑特征词在不同类型文本中或上下文中的本质作用,即包含的语法和语义信息。并且,在语义网及文本表示本体技术仍需进一步发展的条件下,需要将新
征用于模型建立,比人工神经网络 ( rf i er e ok, At c N ua N t rs i a il l w A N) N等模型易于理解,能部分反映出文本的语义性质。 一
个 H MM模型是不确定的、机的有限状态自动机, 随由
不可观测的状态转移过程 (一个 Makv ) ro链和可观测的观察 生成过程组成。按观察值是离散还是连续的, MM可分为离 H
型的概率统计模型与文本分类等信息处理研究结合起来。本 文建立基于隐马尔可夫模型 ( idnM ro o e, MM) Hd e akvM dlH的 文本分类模型,出了模型结构,详细介绍了 H提并 MM参数学
散型 H MM和连续型 HM M。在文本分类中,计算的是离散的词的分布特征,因此下面只介绍离散 H MM表示。 离散 H MM是一个五元组:={ M, A,,以简 A N,仃, B}可
收稿日期:0 0—0 0修回日期:0 0—— 7 21 3— 8; 21 0 2。 4基金项目:上海市科委科技支撑计划项目( 7 72 3 ) 0 2 10 6。作者简介:健 ( 9 6一)男,江上虞人,师,士研究生, C杨 17,浙讲博 C F会员,要研究方向:能信息系统;汪海航 ( 9 5一)男,江奉化主智 16,浙
人,教授,博士生导师,主要研究方向:信息安全、智能信息系统、电子商务。

提出了将隐马尔可夫序列分析模型(HMM)用于自动文本分类的算法,首先构造 表示文档类别的特征词集合,并以文档类别的特征词序列作为不同HMM分类器的观察序列,而HMM的...
该算法不仅将特征词考虑进去, 而且还将词频信息融入隐马尔科夫模型中, 实验 结果表明该方法分类效率较高。 2 关键词: 文本分类; 隐马尔科夫模型; 信息增益; χ ...
种基于隐马尔可夫模型的文本信息抽取算法 在分块的基础上结合隐马尔可夫模型进行...隐马尔可夫模型;信息抽取;文本分块;机器学习 中图分类号 TP391 文献标识码 B...
暂无评价0人阅读0次下载举报文档 一种基于二维隐马尔可夫模型的图像分类算法_计算机软件及应用_IT/计算机_专业资料。第 25 卷第 4 期 2005 年 4 月文章...
由于训练数据来源的多样化,难以通过学习得到最优的模型参数,因此提出了一种基于多模板隐马尔可夫模型的文本信息抽取算法。该算法首先利用文本排版格式和分隔符等信息,...
阶隐马尔可夫模型合理地考虑了概率和模型历史状态的关联性,对错误信息有更强的识别能力.提出了基于二阶隐马尔可夫模型的文本信息抽取算法;分析了二阶隐马尔可夫模型...
基于隐马尔可夫模型的转录因子文本挖掘算法_专业资料。提出一种基于隐马尔可夫模型的转录因子文本挖掘算法(HMM-TFM),该方法通过建立转录因子名称的词库,利用谓语筛选...
分类 算KNNvaaey 算法的比 说较, 明本算法的在文本分类中的成功应用。关键词: 隐马尔可夫; 文本分类; 序列模型文章编 号: )一3 1273一191283(1)以幻0 7...
汪海航 基于隐马尔可夫模型的文本分类算法[期刊论文]-计算机应用 2010(9) 4.夏清国.巴明春.李群祖.潘万鹏 基于智能缝制设备的花样路径优化[期刊论文]-计算机仿真...
基于多模板隐马尔可夫模型的文本信息抽取算法_信息与通信_工程科技_专业资料。...分类 :P9圈号T31 基于 多模 板 隐马 尔可夫模 型 的文本信 息抽 取 算法...
热门文档