文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 隐马尔可夫模型在自然语言处理中的应用
侵权投诉

隐马尔可夫模型在自然语言处理中的应用

摘 要:隐马尔可夫模型是序列数据处理和统计学习的一种重要概率模型,最近几年已经被成功应用到许多关于自然语言处理的任务中。简要介绍了隐马尔可夫模型, 对其在词性标注应用中的难点、 模型的建立、 Viterbi算法等问题进行了详细论述, 给 出了基于隐马尔可夫模型的中文科研论文头部信息抽取过程以及模型结构的学习和参数的训练等关键问题的解决办法。

基于最大熵模型的汉语句子分析徐延勇,周献中,井祥鹤,郭忠伟(南京理工大学自动控制系,江苏南京210094)

摘要:文中运用浅层句法分析理论,把汉语句子…

关键词:自然语言处理;最大熵模型;组块;句法分析;广度优先搜索中图分类号:TP391.1文献标识码:A文章编号:037222112(2003)1121608205

,1≤i,j≤N(2)

式中:Ci,j——所有以语义块为基本单位的训练序列中,从状态Si转移到状态Sj

隐马尔可夫模型在自然语言处理中的应用

的次数。

隐马尔可夫模型在自然语言处理中的应用

隐马尔可夫模型在自然语言处理中的应用

=

,1≤i≤N,1≤j≤M

(3)

图1计算机论文的头部信息

式中:Ci,k——以词语和语义块并存的训练序列中,从状态Si输出词语Vk的次数。另外由于标注的训练语料有限和数据稀疏现象大量存在,所以对这些参数需要进行平滑处理。

号等标点符号对头部信息进行语义块切分,然后在语义块基础上进行信息抽取,这样可以有效提高抽取准确率和召回率[4,6]。另外还要根据“摘要:”、“中图分类号:”等特定标签将相应抽取域标识;

(2)根据一些特征对部分语义块(如标题、单位等)进行词语切分,然后计算各个词语或语义块的输出概率;

(3)在给定的HMM模型下,用韦特比算法进行计算,求出状态序列,即语义块相关联的域,然后按关联结果抽取各语义项。

4结束语

隐马尔可夫模型在统计学中是一个十分重要的模型,有

着广泛的应用。本文我们简要介绍了隐马尔可夫模型,并对HMM在词性标注、特定信息抽取两方面的应用进行了详细论述。本文将HMM应用到中文科研论文的头部信息抽取中;给出了基于HMM的中文可以论文头部信息抽取的详细过程。今后我们将会进一步对HMM在自然语言处理领域中其它任务,如命名实体识别、词法分析等中的应用进行研究。

3.3建立HMM结构和参数学习

利用HMM进行科研论文头部信息时,首先应该建立相

应的HMM模型,最重要的两个问题是选择模型的状态转移结构和进行参数估计[9-10]。

3.3.1模型结构学习

要建立用于特定信息抽取的HMM,首先应该确定模型包

参考文献:

[1][2][3][4][5][6][7][8][9]

张孝飞,陈肇雄,黄河燕,等.词性标注中生词处理算法研究[J].中文信息学报,2003,17(5):1-5.

胡春静,韩兆强.基于隐马尔可夫模型(HMM)的词性标注的应用研究[J].计算机工程与应用,2002,38(6):61-64.

刘群,张华平,俞鸿魁,等.基于层叠隐马模型的汉语词法分析[J].计算机研究与发展,2004,41(8):1421-1429.

刘云中,林亚平,陈治平.基于隐马尔可夫模型的文本信息抽取[J].系统仿真学报,2004,16(3):507-510.

张玲,黄铁军,高文,等.基于隐马尔可夫模型的引文信息提取[J].计算机工程,2003,29(20):33-34.

林亚平,刘云中,周顺先,等.基于最大熵的隐马尔可夫模型文本信息抽取[J].电子学报,2005,33(2):236-240.

郑家恒,张辉.基于HMM的中国组织机构名自动识别[J].计算机应用,2002,22(11):1-2.

吴晓明,宋长新,王波,等.隐马尔可夫模型用于蛋白质序列分析[J].生物医学工程学,2002,19(3):455-458.

KristieSeymore,AndrewMcCallum,RonaldRosenfeld.Lear-ninghiddenmarkovmodelstructureforinformationextraction[C].ProceedingsoftheAAAIWorkshoponMachineLearningforInformationExtraction.Orlando:AAAIPress,1999:37-42.[10]FreitagD,McCallumA.InformationextractionwithHMMstruc-tureslearnedbystochasticoptimization[C].ProceedingsoftheEighteenthConferenceonArtificialIntelligence.Edmonton:AAAIPress,2002:584-589.

[11]FreitagD,McCallumA.InformationextractionwithHMMand

shrinkage[C].ProceedingsoftheAAAIWorkshoponMachineLearningforInformationExtraction.Orlando:AAAIPress,1999:31-36.

[12]徐延勇,周献中,井祥鹤.基于最大熵模型的汉语句子分析[J].电

子学报,2003,30(11):11-12.

含哪些状态;其次应该确定这些状态之间的转移关系。未经优化的模型是每个语义项对应一个状态,而这些状态之间允许随意转移。然而,这样的模型并不能很好地反映实际情况。例如,中文科研论文中,标题、作者、单位、地址、邮编这些几乎都是依次出现的,而且中文摘要后几乎百分之百的是中文关键词。为了使模型更符合实际,需要从训练语料中进行模型结构的学习。

可以采用从标注好的语料中学习模型结构,以切分的语义块为单位。首先从训练语料中可以得到最大化最细化的模型,在该模型中每个语义块被赋予一个相应的状态,然后再转移到下一个相邻语义块对应的状态。从这个最大化最细化的模型开始我们用横向合并和纵向合并(文献[9]中称为“Neigh-)进行状态合并。横向合并将紧相bor-merging”和“V-merging”邻的几个同类状态合并成为一个状态,合并后的状态通过自转移来一个语义项中多个语义块的转移。纵向合并将那些从同一个状态转移而来或要转移到同一个状态去的且具有相同类标签的状态合并为一个状态。经过这些合并后,最终就得到优化的HMM模型结构。

3.3.2学习模型参数

HMM模型结构确定后,我们就可以从标注好的训练语

料中用最大似然估计得到模型的参数。以下3个公式分别用于计算初始状态概率、状态转移概率和输出概率。其中初始状态概率和状态转移概率都是以语义块为单位进行统计学习,输出概率对部分语义块(如标题、单位等)进行分词后再

隐马尔可夫模型在自然语言处理中的应用

统计计算。

1

隐马尔可夫模型在自然语言处理中的应用

隐马尔可夫模型在自然语言处理中的应用

隐马尔可夫模型在自然语言处理中的应用

=

,1≤i≤N(1)

式中:C(X1=Si)——所有以语义块为基本单位的训练语料中,以Si

隐马尔可夫模型在自然语言处理中的应用

隐马尔可夫模型在自然语言处理中的应用

为初始状态的序列个数。

-5516-

上一页第3页

你可能喜欢

  • 指纹识别
  • 专家系统
  • 语音识别系统
  • 隐马尔科夫模型
  • 评价模型
  • 学习机器人
  • 哼唱检索
  • 动态贝叶斯网络

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email