文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 基于隐马尔可夫模型的文本分类算法
侵权投诉

基于隐马尔可夫模型的文本分类算法

自动文本分类领域近年来已经产生了若干成熟的分类算法,但这些算法主要基于概率统计模型,没有与文本自身的语法和语义建立起联系。提出了将隐马尔可夫序列分析模型(HMM)用于自动文本分类的算法,首先构造表示文档类别的特征词集合,并以文档类别的特征词序列作为不同HMM分类器的观察序列,而HMM的状态转换序列则隐含地表示了不同类别文档内容的形成演化过程。分类时,具有最大生成概

第 9期

杨健等:于隐马尔可夫模型的文本分类算法基

写为 A={ ,}其中Ⅳ是 Makv状态数;是状态可 A, 7, r ro链

本文提出一种基于 HMM的文本分类方法。在将 HMM 用于文本分类时,对不同类别分别建立 H MM分类器。另外, 鉴别文本是否属于同一类别,以通过观察它们的特征词组可成及频率。因此, M中的观察输出就是特征词的组成。一 HM个 HMM分类器中的状态转换,可以看做是从与该类别不是 很相关的词组成的文档输出分布,与该类别非常相关的词向组成的文档输出分布转化的一种过程。因此,态从

起始点状向终结点转化应对应着类别相关词汇的强化。基于以上的考

能生成的观察值数;= (r一,丌 7 7 )表示初始状态概率向 r量,中仃其=P( 1:S) 1≤ i N。 q,≤ A为状态转换概率分布,表示 i状态向状态转换的概率: A=(Ⅳ,中:=P(…= s『=s) 1≤ i。 )其Ⅱ q j q;, N。≤

曰为观察值概率分布,表示在状态输出 k观察值的概率: B=(j k ) ̄,中:, b( ) NM其 6(= P 0 l= s; ≤ ) (= q, 1≤ ) N,≤ k≤ M。 1

按照隐状态转换特征进行分类, HMM有几种典型的结

虑,出了基于 HMM的文本分类模型及分类算法实现。模提 型以有类标的文本集为训练集,练得到不同类别的 H 训 MM分类器,然后检测待分类文本对于各个类别 H MM的生成概率,生成概率最大的类别的类标号作为最后的分类结果。

构, 1图所示的即为典型的两种左一右型 Makv链。注意到 ro

图中并没有表示观察值的输出。

2基于隐马尔可夫模型的文本分类 2 1模型及分类器训练 .

在基于 H MM的文本分类模型中,设训练文档集的类假标集合为 C={ C,,}在经过分词、 c,:… c, 去除停用词等文 【 h)

图 1左一右型 Mak v ro链

本预处理过程后,文档被转换为词集。基于 H MM的文本分类模型分类器训练要经过如下步骤。 1特征选择及降维。特征选择有多种方法, )如词频一反 文档频率 ( e rq ec— vre D c m n Fe uny T— T r Fe unyI e ou et rq ec, F m n s

H MM有 3个基本问题 (评估问题、解码问题、习问题 )学 需要解决,们是 H它 MM理论的主要内容…。其中评估问题

是给出观察值序列和模型,评估观察序列是由模型给出的概率;码问题是给出观察序列和模型,何选择对应的状态序解如列,以较好地解释观察值;习问题是如何调整模型参数以使学

I F,息增益 (nomao an I,信息 ( uul D)信 If t n G i,G)互 r i M ta I om t n MI,望交叉熵 ( x etdCosE t p

,E)开 n r ai, )期 f o E p c rs nr y C, e o

方检验 (检验 )粗糙集 ( og e, S等。本文采用信息 X, R uhStR )增益(G) I值作为特征选择标准:

得观察序列是由模型给出的概率最大化。在建立好 HMM模型后,以使用评估问题算法进行待分类文档的分类,可常用的 有前向算法和后向算法。 12与本文相关研究工作 .在信息处理领域, MM用于文本信息抽取的研究比较深 H

I(=一∑PClPc+ (∑PcI tt ) ( ) () P ) (£ ig ;) l P(i t g C I )+P t () P( fl ( t c』 )gP c I )

入:文献[ 4利用文本排版格式信息对文本进行分块, 2—]并结合隐马尔可夫模型进行文本信息抽取。为了获得较优的

计算各个词 t在分类中的 I G值后,设定阈值,选择信息增 益大的词作为特征词,构成特征集 2 )类别特征集抽取。同类别判断需要的特征词集不不同,因此,需要对每个类别抽取最有效的类别判断特征词。利

HM M模型的初始参数,文献[] 5利用遗传算法以减少 HMM 进入局部极小的概率;文献 f]用主动学习来选择最有价 6采 值的训练文本,以减少标注工作量;文献[]出一种将命名 7提实体识别方法 N R集成到文本分类特征选择中的方法,了 E除统计特征,还保留了单词作为命名实体的分类特征。在信息抽取时,文献[] 8描述了二阶 H MM在论文头部信息抽取中的基本步骤。文献[]将反向动态规戈和正向 A算法结 9则Ⅱ 合,以确定部分文本块的状态。然而,上述研究主要集中于某些特定领域具有特定结构的文本,例如计算机科研论文头部的信息抽取,对于非结构化文本涉及较少。 在非结构化文本分类研究中,与本文的研究工作更为近似的有:面向多页面文档 (如书或杂志 )例研究页面序列提高分类精度的问题 HM中的每个状态与一个唯一的页面 t: M 0 1类别 (如封面、、序目录等 )关联,而观察输出概率通过页面中

用X检验,找到不同类别{ C,,} c,… c对应的类别特征集 {,,,}即类别 c W。 …,有的特征子集。具体

方法如 下所示。

假设包含词 t且属于 c的文档个数、包含词 t且不属于 c的文档个数、不包含词 t且属于c的文档个数、不包含词 t且不属于 C的文档个数分别为 A、 C、则有: B、 D, ,

() 1

其中 N=A+ B+C+D。如果给定训练集和类别,Ⅳ,, 则 Ⅳ一对于同一类别文档中所有词来说都是一样的。里 M=这 A+,—M:B+D。以,式可简化为: CN所公 X ( )= 2 () 2

单词的多项式分布来建模。对于每个新的待分类文档,算法输出有最大后验概率的页面类别的序列。但该研究要解决的 是页面在整个文档中所属结构类别的问题,不能实现整个并

其值越大,明 t c表与类越相关。通过设定阈值,以找到可 c类别最相关的特征词的集合 图 2所示。

:{ W

:…,}, W。

文档从语义角度上的类别的自动识别。文献[ 1提出了一 1]种基于 HMM的文本分类方法。但该方法有如下缺陷: ) 1每个训练文本对应一个 HMM模型,训练时间难以保证; ) 2 HMM

3 )分类器模型及参数学习。设类 c的分类器为 H MM如,

图 2中,。S分别表示开始和结束状态。 S,,在分类器工作 时,态的转换表示词集合的统计特征向该类别的逼近,状因此,状态转换概率有如下性质: S lS}= 1由此可以得 P{ ,

分类器的概率分布学习算法没有明确说明,而这是一个分类 器模型的重要组成部分; H 3) MM分类器参数确定与文本类 的语法、义和结构没有明显关系。语

到第 C个类别分类器的状态转移概率分布。中的各个特图

基于隐马尔可夫模型的文本分类算法

上一页第2页

你可能喜欢

  • 马尔可夫随机场
  • 条件随机场
  • 图像分割
  • 马尔科夫随机场
  • 烛之武退秦师
  • 哼唱检索
  • 动态贝叶斯网络
  • 系统可靠性

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email