摘 要:隐马尔可夫模型是序列数据处理和统计学习的一种重要概率模型,最近几年已经被成功应用到许多关于自然语言处理的任务中。简要介绍了隐马尔可夫模型, 对其在词性标注应用中的难点、 模型的建立、 Viterbi算法等问题进行了详细论述, 给 出了基于隐马尔可夫模型的中文科研论文头部信息抽取过程以及模型结构的学习和参数的训练等关键问题的解决办法。
基于最大熵模型的汉语句子分析徐延勇,周献中,井祥鹤,郭忠伟(南京理工大学自动控制系,江苏南京210094)
摘要:文中运用浅层句法分析理论,把汉语句子…
关键词:自然语言处理;最大熵模型;组块;句法分析;广度优先搜索中图分类号:TP391.1文献标识码:A文章编号:037222112(2003)1121608205
,1≤i,j≤N(2)
式中:Ci,j——所有以语义块为基本单位的训练序列中,从状态Si转移到状态Sj

的次数。


=
,1≤i≤N,1≤j≤M
(3)
图1计算机论文的头部信息
式中:Ci,k——以词语和语义块并存的训练序列中,从状态Si输出词语Vk的次数。另外由于标注的训练语料有限和数据稀疏现象大量存在,所以对这些参数需要进行平滑处理。
号等标点符号对头部信息进行语义块切分,然后在语义块基础上进行信息抽取,这样可以有效提高抽取准确率和召回率[4,6]。另外还要根据“摘要:”、“中图分类号:”等特定标签将相应抽取域标识;
(2)根据一些特征对部分语义块(如标题、单位等)进行词语切分,然后计算各个词语或语义块的输出概率;
(3)在给定的HMM模型下,用韦特比算法进行计算,求出状态序列,即语义块相关联的域,然后按关联结果抽取各语义项。
4结束语
隐马尔可夫模型在统计学中是一个十分重要的模型,有
着广泛的应用。本文我们简要介绍了隐马尔可夫模型,并对HMM在词性标注、特定信息抽取两方面的应用进行了详细论述。本文将HMM应用到中文科研论文的头部信息抽取中;给出了基于HMM的中文可以论文头部信息抽取的详细过程。今后我们将会进一步对HMM在自然语言处理领域中其它任务,如命名实体识别、词法分析等中的应用进行研究。
3.3建立HMM结构和参数学习
利用HMM进行科研论文头部信息时,首先应该建立相
应的HMM模型,最重要的两个问题是选择模型的状态转移结构和进行参数估计[9-10]。
3.3.1模型结构学习
要建立用于特定信息抽取的HMM,首先应该确定模型包
参考文献:
[1][2][3][4][5][6][7][8][9]
张孝飞,陈肇雄,黄河燕,等.词性标注中生词处理算法研究[J].中文信息学报,2003,17(5):1-5.
胡春静,韩兆强.基于隐马尔可夫模型(HMM)的词性标注的应用研究[J].计算机工程与应用,2002,38(6):61-64.
刘群,张华平,俞鸿魁,等.基于层叠隐马模型的汉语词法分析[J].计算机研究与发展,2004,41(8):1421-1429.
刘云中,林亚平,陈治平.基于隐马尔可夫模型的文本信息抽取[J].系统仿真学报,2004,16(3):507-510.
张玲,黄铁军,高文,等.基于隐马尔可夫模型的引文信息提取[J].计算机工程,2003,29(20):33-34.
林亚平,刘云中,周顺先,等.基于最大熵的隐马尔可夫模型文本信息抽取[J].电子学报,2005,33(2):236-240.
郑家恒,张辉.基于HMM的中国组织机构名自动识别[J].计算机应用,2002,22(11):1-2.
吴晓明,宋长新,王波,等.隐马尔可夫模型用于蛋白质序列分析[J].生物医学工程学,2002,19(3):455-458.
KristieSeymore,AndrewMcCallum,RonaldRosenfeld.Lear-ninghiddenmarkovmodelstructureforinformationextraction[C].ProceedingsoftheAAAIWorkshoponMachineLearningforInformationExtraction.Orlando:AAAIPress,1999:37-42.[10]FreitagD,McCallumA.InformationextractionwithHMMstruc-tureslearnedbystochasticoptimization[C].ProceedingsoftheEighteenthConferenceonArtificialIntelligence.Edmonton:AAAIPress,2002:584-589.
[11]FreitagD,McCallumA.InformationextractionwithHMMand
shrinkage[C].ProceedingsoftheAAAIWorkshoponMachineLearningforInformationExtraction.Orlando:AAAIPress,1999:31-36.
[12]徐延勇,周献中,井祥鹤.基于最大熵模型的汉语句子分析[J].电
子学报,2003,30(11):11-12.
含哪些状态;其次应该确定这些状态之间的转移关系。未经优化的模型是每个语义项对应一个状态,而这些状态之间允许随意转移。然而,这样的模型并不能很好地反映实际情况。例如,中文科研论文中,标题、作者、单位、地址、邮编这些几乎都是依次出现的,而且中文摘要后几乎百分之百的是中文关键词。为了使模型更符合实际,需要从训练语料中进行模型结构的学习。
可以采用从标注好的语料中学习模型结构,以切分的语义块为单位。首先从训练语料中可以得到最大化最细化的模型,在该模型中每个语义块被赋予一个相应的状态,然后再转移到下一个相邻语义块对应的状态。从这个最大化最细化的模型开始我们用横向合并和纵向合并(文献[9]中称为“Neigh-)进行状态合并。横向合并将紧相bor-merging”和“V-merging”邻的几个同类状态合并成为一个状态,合并后的状态通过自转移来一个语义项中多个语义块的转移。纵向合并将那些从同一个状态转移而来或要转移到同一个状态去的且具有相同类标签的状态合并为一个状态。经过这些合并后,最终就得到优化的HMM模型结构。
3.3.2学习模型参数
HMM模型结构确定后,我们就可以从标注好的训练语
料中用最大似然估计得到模型的参数。以下3个公式分别用于计算初始状态概率、状态转移概率和输出概率。其中初始状态概率和状态转移概率都是以语义块为单位进行统计学习,输出概率对部分语义块(如标题、单位等)进行分词后再

统计计算。
1



=
,1≤i≤N(1)
式中:C(X1=Si)——所有以语义块为基本单位的训练语料中,以Si


为初始状态的序列个数。
-5516-
微机软件 ? 隐马尔可夫模型及其在自然语言处理中的应用刘海天 ,赵政文 ,盛光磊 1 1 2 ( 1. 西北工业大学计算机学院 ,西安 710072; 2. 郑州大学信息工程学院...
自然语言理解是人工智能最活跃的研究领域之一,同时也是目前前沿的课题之一。该领域的研究人员通过对隐马尔可夫模型这一数学模型的跨领域应用,解决了自然语言理解中...
马尔可夫模型在语言处理中的应用_理学_高等教育_教育专区。马尔可夫模型在语言... 隐马尔可夫模型在自然语... 暂无评价 3页 2.00 隐马尔可夫模型在多...
(2007)01-0033-03 ComputerandInformationTechnology 隐马尔可夫模型在自然语言理解研究中的应用卢 微071002)( 河北大学人文学院, 河北 保定摘 要: 自然语言理解是...
宗成庆-统计自然语言处理--第六章--- 隐马尔可夫模型_计算机软件及应用_IT/计算机_专业资料。宗成庆《统计自然语言处理》--- 第六章--- 隐马尔可夫模型,由...
2 基于层叠隐马模型的命名实体识别方法 隐马尔可夫模型是一种在自然语言处理领域 中被广泛应用的统计模型。中文命名实体识别中的 人名识别、地名识别、译名识别以及...
(哈尔滨工业大学计算机学院信息检索研究室 摘要:词义消歧一直是自然语言处理领域的...隐马尔可夫模型和 HowNet 在汉语词义标注中的应用 /1003 经济 /225 政策 /...
隐马尔可夫模型刘秉权哈工大智能技术与自然语言处理研究室 2006年11月 主要内容...隐马尔可夫模型的应用 隐马尔可夫模型 2 马尔可夫链一个系统有 N 个状态 S1...
{djw, tliu, lzm, ls}@ir.hit.edu.cn 摘要:词义消歧是自然语言处理中的...应用在词义消歧问题中的隐马尔可夫模型可以定义为: 1) S 表示模型中的状态,N...
热门文档