隐马尔科夫模型,自然语言处理,语义网,

No.3
Jun.,2009
微 处 理 机
MICROPROCESSORS
第3期
2009年6月
微机软件
隐马尔可夫模型及其在自然语言处理中的应用
刘海天,赵政文,盛光磊
1
1
2
3
(1.西北工业大学计算机学院,西安710072;2.)
摘 要:基于隐马尔可夫模型(HMM)的基本概念,,最后演示关键词:;::A 文章编号:1002-2279(2009)03-0074-03
HiddenvdelsandItsApplicationtoNaturalLanguageProcess
LIUHai-tian,ZHAOZheng-wen,SHENGGuang-lei
1
1
2
(1.NorthwesternPolytechnicalUniversity,CollegeofComputer,Xi’an710072,China;
2.ZhengzhouUniversity,CollegeofComputer,Zhengzhou450002,China)
Abstract:Thispaperdescribehiddenmarkovmodelsanditsapplicationtonaturallanguageprocess,FirstintroducedHiddenMarkovModelbasicconcept,thenintroducedtheHiddenMarkovModelthreebasicissuesandthebasicalgorithmtotheproblems,finallygiveademonstrationofChinesepart-of-speechtaggingusingtheHMM.
Keywords:HMM;NaturalLanguageProcess;Chinesepart-of-speechtagging
1 隐马尔可夫模型(HiddenMarkovModel,HMM)
隐马尔可夫模型是用于描述随机过程统计特征的数学统计模型,它是由马尔可夫链演变而来。由于实际的问题比马尔可夫链模型所描述的复杂,观察到的事件并不是与状态一一对应,而是通过一组概率分布相联系的,这样的模型就是隐马尔可夫模型。它是一个双重的随机过程,其中之一是马尔可夫链,它描述状态的转移概率。另外一个随机过程描述的是状态和观察值之间的统计关系。观察者通过观察值去感知隐藏状态的存在及其特征,便形成了“隐”马尔可夫模型。隐马尔可夫模型于20世纪70年代在语音识别领域取得巨大的成功,之后被广泛应用到自然语言处理的各个领域,成为基于统计的自然语言处理的重要方法,是上个世纪统计自然语言处理领域的重要成果之一。
隐马尔可夫模型是一个五元组:(Qx,Qo,A,B,π)(1)状态的有限集合:Qx={q1,q2,q3,q4,...,
qN},表示模型中状态(即输出),其状态数量为N。
每一个状态都与一些物理意义有一定的联系,同时这些状态之间也是相互联系的,而且可以从一种状态转移到另一种状态。用Xt来表示t时刻的状态。
(2)观察值的有限集合:Qo={σ1,σ2,σ3,σ4,...,σM},每一个状态对应的观察值的数量为
M,观察值对应于系统模型的实际输出。用Ot来表
示t时刻的观察。
(3)转移概率:A={aij}其中aij=P(Xt+1=qj|Xt=qi),1Φi,jΦN。aij满足:aijΕ0,Πi,j且∑aij=1,Πi。
i
(4)输出概率:B={bik}bik表示在状态qi下,t时
刻出现vk的概率,即bik=P(Ot=σk|Xt=qi),1ΦiΦN,1ΦkΦM。bik满足bikΕ0,且∑bik=1,Πi。
k
(5)初始状态分布:π={πi},πi=P(X1=qi),
1ΦiΦN,即在t=1时刻处于qi的概率,πi满足
πi=1;∑
i
对于一些实际的应用,虽然状态是隐藏的,但模型的
3基金项目:国家科技部创新基金(04c26214100672)
从初始状态开始进行转移,直到终止状态为止.在这样一个转移过程中经历的所有状态按照顺序排列成的向量称为状态链,记为:Q,Qt表示第t次转
作者简介:刘海天(1982-),男,江苏东台人,硕士研究生,主研方向:计算机理论与人工智能。 收稿日期:2007-09-01
2007 隐马尔可夫模型在自然语言处理中的应用于江德 1,2, 樊孝忠 1, 尹继豪 1 (1. 北京理工大学 计算机科学技术学院,北京 100081;2. 安阳师范学院 计算机科学...
自然语言理解是人工智能最活跃的研究领域之一,同时也是目前前沿的课题之一。该领域的研究人员通过对隐马尔可夫模型这一数学模型的跨领域应用,解决了自然语言理解中...
该领域的研究人员通过对 隐马尔可夫模型这一数学模型的跨领域应用, 解决了自然语言理解中的瓶颈问题。文章系统阐述了隐马尔可夫模型的 原理以及在语音识别和词性标注...
马尔可夫模型在语言处理中的应用_理学_高等教育_教育专区。马尔可夫模型在语言... 隐马尔可夫模型在自然语... 暂无评价 3页 2.00 隐马尔可夫模型在多...
宗成庆-统计自然语言处理--第六章--- 隐马尔可夫模型_计算机软件及应用_IT/计算机_专业资料。宗成庆《统计自然语言处理》--- 第六章--- 隐马尔可夫模型,由...
(哈尔滨工业大学计算机学院信息检索研究室 摘要:词义消歧一直是自然语言处理领域的...隐马尔可夫模型和 HowNet 在汉语词义标注中的应用 /1003 经济 /225 政策 /...
2 基于层叠隐马模型的命名实体识别方法 隐马尔可夫模型是一种在自然语言处理领域 中被广泛应用的统计模型。中文命名实体识别中的 人名识别、地名识别、译名识别以及...
{djw, tliu, lzm, ls}@ir.hit.edu.cn 摘要:词义消歧是自然语言处理中的...应用在词义消歧问题中的隐马尔可夫模型可以定义为: 1) S 表示模型中的状态,N...
隐马尔可夫模型刘秉权哈工大智能技术与自然语言处理研究室 2006年11月 主要内容...隐马尔可夫模型的应用 隐马尔可夫模型 2 马尔可夫链一个系统有 N 个状态 S1...
热门文档