文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 隐马尔可夫模型在自然语言处理中的应用
侵权投诉

隐马尔可夫模型在自然语言处理中的应用

摘 要:隐马尔可夫模型是序列数据处理和统计学习的一种重要概率模型,最近几年已经被成功应用到许多关于自然语言处理的任务中。简要介绍了隐马尔可夫模型, 对其在词性标注应用中的难点、 模型的建立、 Viterbi算法等问题进行了详细论述, 给 出了基于隐马尔可夫模型的中文科研论文头部信息抽取过程以及模型结构的学习和参数的训练等关键问题的解决办法。

以上3个问题,问题①是评估问题,可以用于判断最佳模型;问题②是解码问题,可以用于寻找最有可能生成观察序列的状态序列,常用韦特比算法进行解决;问题③是训练问题,用于从已有数据中估计模型的参数。常采用最大似然估计算法(对于已标记的训练集)或Baum-Welch算法(对于未标记的训练集)解决。

量是在时间t隐马尔可夫模型从首词到第个候选

外,韦特比算法

隐马尔可夫模型在自然语言处理中的应用

记

词性的最佳词性标记序列的概率值。

隐马尔可夫模型在自然语言处理中的应用

除了利用变量

来记录在时间t隐马尔可夫模型是通过哪一条概

率最大的词性标注序列到达状态(词性)ti的。实际上,录了该路径上状态ti的前面一个(在时间t

隐马尔可夫模型在自然语言处理中的应用

2

2.1

隐马模型在词性标注中的应用

词性标注的概念、难点及方法

词性是词的一个重要属性。某些词只有一种词性,这种

1

词无论出现在文本的什么位置,其词性都相同,如“我们”总是代词。而有些词有两种或两种以上的词性,这些词在文本的不同位置有不同的词性。在汉语中广泛存在着词语的词性多于一种的歧义现象,这种现象叫做词性兼类。如“编辑”一词既可作名词也可以作动词。为词语标明其在上下文中的词性就是所谓的词性标注。词性标注是自然语言处理领域中的基本问题,由于自然语言处理中许多后继工作都是在词性标注的基础上进行的,所以词性标注的正确率直接影响到后继工作效果。

词性标注的难点主要在于:①某些单词有多个词性,在不同的上下文中取不同的值,因此,对这些词标注需要考察其所在的上下文;②未登录词的出现,由于未登录词没有在词典中出现,不知道其词性,需要用特别的技术来处理。

目前词性标注方法主要有3种:①基于规则的方法,该方法利用语言学家手工建立的规则来进行词性消歧。例如TA-GGIT系统采用了3300个上下文框架规则和86种词性标记。②基于统计的方法,该方法是目前词性标注的主流方法,基于HMM的词性标注方法就是其中一种。③混合方法,该方法是一种统计与规则相结合的方法。

(3)

隐马尔可夫模型在自然语言处理中的应用

隐马尔可夫模型在自然语言处理中的应用

隐马尔可夫模型在自然语言处理中的应用

隐马尔可夫模型在自然语言处理中的应用

隐马尔可夫模型在自然语言处理中的应用

终止(2)

隐马尔可夫模型在自然语言处理中的应用

隐马尔可夫模型在自然语言处理中的应用

归纳计算

1

≤

=0

m

隐马尔可夫模型在自然语言处理中的应用

隐马尔可夫模型在自然语言处理中的应用

隐马尔可夫模型在自然语言处理中的应用

ax=argmax

1

隐马尔可夫模型在自然语言处理中的应用

1

回溯得到观察值序列

的最优路径,即最佳词性标记序列。

3HMM在特定信息抽取中的应用

3.1

特定信息抽取的概念

信息提取是指从文本中提取出特定的事件或事实信息,并将其形成结构化的数据填入一个数据库中供用户查询使用的过程。特定信息比如说从科研论文的头部信息,包括论文标题、作者、隶属单位、摘要、关键词等十多个域。利用HMM进行特定信息抽取是一种基于统计机器学习的信息抽取方法。随着Internet以及相关技术的高速发展和日益成熟,互联网上的科研论文越来越多,这使得人们对科研论文的检索和科研论文中信息的获取要求越来越高。其中,自动从科研论文中抽取论文的头部信息是最近几年的研究热点。下面以从中文科研论文中抽取头部信息为例详细说明利用HMM进行特定信息抽取的过程。并对HMM用于科研论文信息抽取的两个关键问题[9-10]:模型结构的建立和参数的学习进行了详细的阐述。

2.2词性标注的HMM模型

用HMM对词性标注的任务建模就是寻找一个隐藏在幕

后的词性标注序列T=t1t2…tn使得它对于可见的词序列W=w1w2…wn是最优的。即已知词序列W(观测序列)

隐马尔可夫模型在自然语言处理中的应用

和模型

)值最大的那个T*,一般记作:

T*=argmaxP

隐马尔可夫模型在自然语言处理中的应用

T

W,。

如果假设词性序列是一个马尔可夫链,这个马尔可夫链在每次进行状态转移时都产生一个单词,具体产生哪个单词由其所处的状态决定。这样,可以很容易把词性标注和上文所述的隐马尔可夫模型联系起来。词性序列T=t1t2…tn对应于模型的状态序列,而标注集对应于状态集,词性之间的转移对应于模型的状态转移。其中,模型中词性之间的转移概率可

隐马尔可夫模型在自然语言处理中的应用

以从语料库中统计得到

1

1

3.2为

[9-11]

基于HMM的科研论文头部信息抽取过程

利用HMM从科研论文头部抽取信息,其过程可以叙述:每个状态和要抽取的一个域相关联,这些域可以是:论

文标题、作者、单位、摘要等。我们需要从可观察到的科研论文头部信息,即那些词的序列或语义块的序列,来确定状态序列,也就是为这些头部语义块标记相关联的域。即给定论文头部词序列或语义块序列,在训练好的HMM模型下,搜索最可能输出这些头部序列的状态序列。这个过程可以用韦特比算法通过动态规划解决。图1是一篇中文计算机论文

之后的次数

2.3

训练语料中出现的总次数词性标注中的Viterbi算法

在基于HMM的词性标注中,标注算法的主要任务就是

的头部信息[12]。

经过对不同期刊的大量论文头部信息进行综合分析后,我们对中文论文头部信息的抽取固定在标题、作者、单位、地址、邮编、摘要、关键词、中图分类号、文献标识码、文章编号、栏目和电子邮箱12个抽取域。详细抽取过程描述如下:

(1)对论文头部进行预处理。主要是依据回车和逗号、分

为给定的词序列w1w2…wn找到一个最佳的状态序列(词性标记序列)t1t2…tn。这个任务可以采用Viterbi算法运用动态规划来搜索这种最优状态序列。在词性标注的HMM中韦特比变

隐马尔可夫模型在自然语言处理中的应用

-5515-

上一页第2页

你可能喜欢

  • 指纹识别
  • 专家系统
  • 语音识别系统
  • 隐马尔科夫模型
  • 评价模型
  • 学习机器人
  • 哼唱检索
  • 动态贝叶斯网络

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email