自动文本分类领域近年来已经产生了若干成熟的分类算法,但这些算法主要基于概率统计模型,没有与文本自身的语法和语义建立起联系。提出了将隐马尔可夫序列分析模型(HMM)用于自动文本分类的算法,首先构造表示文档类别的特征词集合,并以文档类别的特征词序列作为不同HMM分类器的观察序列,而HMM的状态转换序列则隐含地表示了不同类别文档内容的形成演化过程。分类时,具有最大生成概
第 9期
杨健等:于隐马尔可夫模型的文本分类算法基
写为 A={ ,}其中Ⅳ是 Makv状态数;是状态可 A, 7, r ro链
本文提出一种基于 HMM的文本分类方法。在将 HMM 用于文本分类时,对不同类别分别建立 H MM分类器。另外, 鉴别文本是否属于同一类别,以通过观察它们的特征词组可成及频率。因此, M中的观察输出就是特征词的组成。一 HM个 HMM分类器中的状态转换,可以看做是从与该类别不是 很相关的词组成的文档输出分布,与该类别非常相关的词向组成的文档输出分布转化的一种过程。因此,态从
起始点状向终结点转化应对应着类别相关词汇的强化。基于以上的考
能生成的观察值数;= (r一,丌 7 7 )表示初始状态概率向 r量,中仃其=P( 1:S) 1≤ i N。 q,≤ A为状态转换概率分布,表示 i状态向状态转换的概率: A=(Ⅳ,中:=P(…= s『=s) 1≤ i。 )其Ⅱ q j q;, N。≤
曰为观察值概率分布,表示在状态输出 k观察值的概率: B=(j k ) ̄,中:, b( ) NM其 6(= P 0 l= s; ≤ ) (= q, 1≤ ) N,≤ k≤ M。 1
按照隐状态转换特征进行分类, HMM有几种典型的结
虑,出了基于 HMM的文本分类模型及分类算法实现。模提 型以有类标的文本集为训练集,练得到不同类别的 H 训 MM分类器,然后检测待分类文本对于各个类别 H MM的生成概率,生成概率最大的类别的类标号作为最后的分类结果。
构, 1图所示的即为典型的两种左一右型 Makv链。注意到 ro
图中并没有表示观察值的输出。
2基于隐马尔可夫模型的文本分类 2 1模型及分类器训练 .
在基于 H MM的文本分类模型中,设训练文档集的类假标集合为 C={ C,,}在经过分词、 c,:… c, 去除停用词等文 【 h)
图 1左一右型 Mak v ro链
本预处理过程后,文档被转换为词集。基于 H MM的文本分类模型分类器训练要经过如下步骤。 1特征选择及降维。特征选择有多种方法, )如词频一反 文档频率 ( e rq ec— vre D c m n Fe uny T— T r Fe unyI e ou et rq ec, F m n s
H MM有 3个基本问题 (评估问题、解码问题、习问题 )学 需要解决,们是 H它 MM理论的主要内容…。其中评估问题
是给出观察值序列和模型,评估观察序列是由模型给出的概率;码问题是给出观察序列和模型,何选择对应的状态序解如列,以较好地解释观察值;习问题是如何调整模型参数以使学
I F,息增益 (nomao an I,信息 ( uul D)信 If t n G i,G)互 r i M ta I om t n MI,望交叉熵 ( x etdCosE t p
,E)开 n r ai, )期 f o E p c rs nr y C, e o
方检验 (检验 )粗糙集 ( og e, S等。本文采用信息 X, R uhStR )增益(G) I值作为特征选择标准:
得观察序列是由模型给出的概率最大化。在建立好 HMM模型后,以使用评估问题算法进行待分类文档的分类,可常用的 有前向算法和后向算法。 12与本文相关研究工作 .在信息处理领域, MM用于文本信息抽取的研究比较深 H
I(=一∑PClPc+ (∑PcI tt ) ( ) () P ) (£ ig ;) l P(i t g C I )+P t () P( fl ( t c』 )gP c I )
入:文献[ 4利用文本排版格式信息对文本进行分块, 2—]并结合隐马尔可夫模型进行文本信息抽取。为了获得较优的
计算各个词 t在分类中的 I G值后,设定阈值,选择信息增 益大的词作为特征词,构成特征集 2 )类别特征集抽取。同类别判断需要的特征词集不不同,因此,需要对每个类别抽取最有效的类别判断特征词。利
HM M模型的初始参数,文献[] 5利用遗传算法以减少 HMM 进入局部极小的概率;文献 f]用主动学习来选择最有价 6采 值的训练文本,以减少标注工作量;文献[]出一种将命名 7提实体识别方法 N R集成到文本分类特征选择中的方法,了 E除统计特征,还保留了单词作为命名实体的分类特征。在信息抽取时,文献[] 8描述了二阶 H MM在论文头部信息抽取中的基本步骤。文献[]将反向动态规戈和正向 A算法结 9则Ⅱ 合,以确定部分文本块的状态。然而,上述研究主要集中于某些特定领域具有特定结构的文本,例如计算机科研论文头部的信息抽取,对于非结构化文本涉及较少。 在非结构化文本分类研究中,与本文的研究工作更为近似的有:面向多页面文档 (如书或杂志 )例研究页面序列提高分类精度的问题 HM中的每个状态与一个唯一的页面 t: M 0 1类别 (如封面、、序目录等 )关联,而观察输出概率通过页面中
用X检验,找到不同类别{ C,,} c,… c对应的类别特征集 {,,,}即类别 c W。 …,有的特征子集。具体
方法如 下所示。
假设包含词 t且属于 c的文档个数、包含词 t且不属于 c的文档个数、不包含词 t且属于c的文档个数、不包含词 t且不属于 C的文档个数分别为 A、 C、则有: B、 D, ,
() 1
其中 N=A+ B+C+D。如果给定训练集和类别,Ⅳ,, 则 Ⅳ一对于同一类别文档中所有词来说都是一样的。里 M=这 A+,—M:B+D。以,式可简化为: CN所公 X ( )= 2 () 2
单词的多项式分布来建模。对于每个新的待分类文档,算法输出有最大后验概率的页面类别的序列。但该研究要解决的 是页面在整个文档中所属结构类别的问题,不能实现整个并
其值越大,明 t c表与类越相关。通过设定阈值,以找到可 c类别最相关的特征词的集合 图 2所示。
:{ W
:…,}, W。
文档从语义角度上的类别的自动识别。文献[ 1提出了一 1]种基于 HMM的文本分类方法。但该方法有如下缺陷: ) 1每个训练文本对应一个 HMM模型,训练时间难以保证; ) 2 HMM
3 )分类器模型及参数学习。设类 c的分类器为 H MM如,
图 2中,。S分别表示开始和结束状态。 S,,在分类器工作 时,态的转换表示词集合的统计特征向该类别的逼近,状因此,状态转换概率有如下性质: S lS}= 1由此可以得 P{ ,
分类器的概率分布学习算法没有明确说明,而这是一个分类 器模型的重要组成部分; H 3) MM分类器参数确定与文本类 的语法、义和结构没有明显关系。语
到第 C个类别分类器的状态转移概率分布。中的各个特图

提出了将隐马尔可夫序列分析模型(HMM)用于自动文本分类的算法,首先构造 表示文档类别的特征词集合,并以文档类别的特征词序列作为不同HMM分类器的观察序列,而HMM的...
该算法不仅将特征词考虑进去, 而且还将词频信息融入隐马尔科夫模型中, 实验 结果表明该方法分类效率较高。 2 关键词: 文本分类; 隐马尔科夫模型; 信息增益; χ ...
种基于隐马尔可夫模型的文本信息抽取算法 在分块的基础上结合隐马尔可夫模型进行...隐马尔可夫模型;信息抽取;文本分块;机器学习 中图分类号 TP391 文献标识码 B...
暂无评价0人阅读0次下载举报文档 一种基于二维隐马尔可夫模型的图像分类算法_计算机软件及应用_IT/计算机_专业资料。第 25 卷第 4 期 2005 年 4 月文章...
由于训练数据来源的多样化,难以通过学习得到最优的模型参数,因此提出了一种基于多模板隐马尔可夫模型的文本信息抽取算法。该算法首先利用文本排版格式和分隔符等信息,...
阶隐马尔可夫模型合理地考虑了概率和模型历史状态的关联性,对错误信息有更强的识别能力.提出了基于二阶隐马尔可夫模型的文本信息抽取算法;分析了二阶隐马尔可夫模型...
基于隐马尔可夫模型的转录因子文本挖掘算法_专业资料。提出一种基于隐马尔可夫模型的转录因子文本挖掘算法(HMM-TFM),该方法通过建立转录因子名称的词库,利用谓语筛选...
分类 算KNNvaaey 算法的比 说较, 明本算法的在文本分类中的成功应用。关键词: 隐马尔可夫; 文本分类; 序列模型文章编 号: )一3 1273一191283(1)以幻0 7...
汪海航 基于隐马尔可夫模型的文本分类算法[期刊论文]-计算机应用 2010(9) 4.夏清国.巴明春.李群祖.潘万鹏 基于智能缝制设备的花样路径优化[期刊论文]-计算机仿真...
基于多模板隐马尔可夫模型的文本信息抽取算法_信息与通信_工程科技_专业资料。...分类 :P9圈号T31 基于 多模 板 隐马 尔可夫模 型 的文本信 息抽 取 算法...
热门文档