第27卷第2期2006年2月通信学报如L耶donCommunlcations
~bl27No22006
Febmarv
基于层叠隐马尔可夫模型的中文命名实体识别
俞鸿魁1一,张华平1,刘群1,吕学强2,施水才2
(1中围科学院训算技术研究所.北京lO(】080:2北京信息科技人学中文信息处理研究中心,北京100101)
摘要:提出了一种基于层叠隐马尔可夫模型的中文命名实体一体化识别方法,旨在将人名识别、地名识别以及机构名识别等命名实体识别融合到一个相对统一的理论模型中。首先在词语粗切分的结果集上采用底层隐马尔可夫模型识别川普通无嵌套的人名、地名和机构名等,然后依次采取高层隐马尔可夫模型识别出嵌套了人名、地名
的复杂地名和机构名。在对大规模真实语料库的封闭测试中,人名、地名和机构识别的F.1值分别达到92.55%、
9453%、86
51%。采削该方法的系统IcTcLAs和2003年5月s】GHAN举办的第一届汉语分词大赛巾名列前茅。
关键词:命名实体识别;角色标注;lcTcLAs中图分类号:TP391.2
文献标识码:A
文章编号:1000436x(2006)02一0087一08
Cllinesenamed
e洲锣id锄倘ca6佃usingcas∞dedllidd蛐Markovmodd
Qunl,LV
xue—qian92,sHIShui.cai2
100080.chiⅡa;
YuHong_kuil一,zHANGHua.pin91,LIU
(1
2
Ins【Im钯ofco。口u“岵儆h删k副,mchiⅡeseAc眦rny0fsciences,B蜘mg
and
ch㈣lnf0皿a曲nPmcessmB
Resea心centeLBeUingInform撕on
sc舢&慨hnologyunI惴i吼BejiⅡ9100101.chlna)
Markovmodel,whichaimed
theoretjcal
to
A№瑚tt:An
8pproachforChinesenamedenb哆idenn虹c“onu曲ngcascadedhiddenrecognltionintO
8Il
lncorpora忙per如n
presentedSimple
n跚e,10ca“onn锄e,o玛arIization岫me
named
integfated
ffamewas
e而ty
w酏recOglli珥dbylowerHMM
model世er
rough
segmenta60n粕d
coTnplex
n锄ed
end廿such
as
pe幅onname,locabon
test
on
n锄e锄dorganlza60Ⅱn锄ew鹊recognizedbyhigherHMMrnodelusingmIe
t{lg百Ⅱg.In
92
the
18玛erealisticcorpus,{佶F_lmeasureofpcrson
n锄e,10cadonname
and
o曜anizatbnnamewas
55%,9453%and86.51%.Inthe丘巧tinteH掘dorlalword8egmentationbakeoffheldbySIGHAN(山eACLSpecm
on
InterestGfo“pachievedKey
chineseLanguage
score
Proces瓢ng)至n2003.ICl℃LAs,wbichnameentity
ldenn&atlonbase
on
thismodel
excellent
words:n锄ed
en吐ty
idenb缸anon;r01e
tagging;ICTcLAS
引言
命名实体识别(named
endty
和标注过程中的一个重要环节,而且在句法分析、
机器翻译、信息检索、提取以及自动问答系统等领
identmcadon)的研
域中也有直接的应用。由于中文文本中词与词之间
没有分隔符,中文文本的分词和中文命名实体的识
究是自然语言处理中的一项基本工作,不仅是分词
收稿日期:2005一】l—15;修回日期:2005-12—20
基金项目:国家重点基础研究发展计划(“973”计划)基金资助项目(G1998030507-4,G19980305lo);计算所领域前沿青年基金资助项目(20026180_23);国家自然科学基金资助项目(印272084);北京市教育委员会科技发展计划重点项目(Kz200310772013)
F叫nda廿0n
It哪s:neN嘶onalBaslcResearch
Programofchina(973Pm口aIn)(G1998030507.4,G1998030510):TheICTYouth
Pund(20026180—23):TheNatIonalNaturalScknceFoundationofChina(60272084);The
Sclenti&Research
KeyProgramof
Be巧ingMunicipaIcom耐ssionofEducanon(Kz200310772013)
万方数据
了一种基于层叠隐马尔可夫模型的中文命名实体一体化识别方法 ,旨在将人名识别 、地名识 别以及 机构名识 别等命名 实体识别 融合 到一个相对统 一的理论模型 中...
基于混合统计模型的汉语命名实体识别方法_专业资料。本文针对三种重要的命名实体,即人名、地名、组织名,提出了一种隐马尔可夫模型(HMM)和最大熵模型(ME)相结合的汉...
基于层叠隐马尔可夫模型的中文命 等. 名实体识别〔〕通信学报 ,0622:7-4J.20,7()89.〔 〕何楠, 9 毛新年, 等.一种两阶段的中文命名实体识别方法〔 〕A...
基于层叠隐马尔可夫模型的中文命名实体识别明.通信学 报,2006,27(2):87.93.【8】周俊生,戴新宇,尹存燕等.基于层叠条件随机场模型的中文机构名自动识别【J】....
a于隐马尔科夫模型的中文术语识别研究_理学_高等教育_教育专区。基于隐马尔科夫模型...;中国科学院 俞鸿魁、张华平等研究了基于层叠HMM的中文命名 实体识别技术。8。...
未登录词识别处理的对象主要是人名 、、 地名 译名和 机构名等命名实体1 在...“九七 夫模型 ,称为层叠隐马尔可夫模型 ( cascadedhidden Markovmodel,CHMM CHMM...
基于层叠隐马尔可夫模型... 暂无评价 11页 1下载券 Web中文信息抽取中命名实....赛”都将无法正确识别出来,因此,在这里,分词的错误将直接导致命名实体抽取的错误...
张华平等[2]应用隐马尔可夫模型并使用角色标注 的方法来进行实体识别, 但由于...[9] 俞鸿魁, 张华平, 刘群, 等.基于层叠隐马尔科夫模型的中文命名实 2006,...
HMM与自动规则提取相结合的中文命名实体识别_IT/计算机_专业资料。HMM与自动规则...基于层叠隐马尔可夫模型... 8页 免费 基于CRF的中文命名实体识... 71页 免费...
热门文档