词义标注语料库建设综述 - 第22卷3 期第
第22卷 第3期2008年5月
中文信息学报
JOURNALOFCHINESEINFORMATIONPROCESSING
Vol.22,No.3May,2008
文章编号:100320077(2008)0320016208
词义标注语料库建设综述
金澎,吴云芳,俞士汶
(北京大学计算语言学研究所,北京100871)
摘 要:词义消歧的关键问题是缺少大规模、高质量的词义标注语料库。本文分别从语料选取、词典选择、标注规模和标注质量等方面介绍已经建成的较有影响的若干词义标注语料库。在自动构建词义标注语料库的方法中,本文集中介绍bootstrapping策略在语料库建设方面的应用以及利用双语对齐语料库开展的相关研究。最后,针对词义标注语料库建设存在的问题提出自己的分析和思考。
关键词:计算机应用;中文信息处理;词义消歧;词义标注语料库;中图分类号:TP391 文献标识码:A
CorpusConstruction
JINPeng,WUYun2fang,YUShi2wen
(InstituteofComputationalLinguistics,PekingUniversity,Beijing100871,China)
Abstract:Thebottleneckofwordsensedisambiguation(WSD)islackoflargescale,high2qualitywordsenseanno2tatedcorpus.Inthispaper,severalwordsenseannotatedcorpusareintroducedintheaspectsofcorpuscoverage,dictionary,tokens,wordtypesandtheinterannotatoragreement,involvingEnglish,ChineseandJapanese.Asfortheautoandsemi2autoconstructionmethods,thispapersfocusesonbootstrappingmethodsandword2alignedparal2lelcorpusbasedapproaches.Andfinally,someissuesinthewordsenseannotatedcorpusconstructionarepointedandpossiblesolutionsaregiven.
Keywords:computerapplication;Chineseinformationprocessing;wordsensedisambiguation;wordsenseannota2tedcorpus;parallelcorpus;bootstrapping
1 概述
词义消歧(WordSenseDisambiguation,WSD)长期以来一直是自然语言处理的热点难题,在机器翻译[1]、信息检索[2,3]等领域均有重要的应用价值。而词义标注语料库的建设对WSD研究有着重要的意义:Ng指出,WSD的中心任务是建设一个大规模的词义标注语料库来训练有指导的机器学习模型[4]。Veronis认为,没有大规模的词义标注语料
收稿日期:2007207210 定稿日期:2008204209
库,WSD研究不会有本质的进步[5]。
词义标注语料库是指,根据某个词典对多义词各个义项的定义,在真实语料上标注多义词的正确义项。理想中的词义标注语料库应该具有规模大、覆盖广和准确度高等特点。语料的规模是指已经标注所有多义词的出现总次数(token),所选语料库本身的规模也有一定的参考价值。语料的覆盖是指标注的单词词形(wordtype)的个数,也即词典中列举的多义词被标注的比例或个数。标注的质量通常用标注一致程度(InterAnnotatorAgreement,IAA)①来衡
基金项目:国家973计划资助项目(2004CB318102);国家自然科学基金资助项目(60703063);国家863计划资助项目
(2007AA01Z198)
),男,博士生,主要研究方向为计算语言学、),女,博士,主要研究方向作者简介:金澎(1977—词义消歧;吴云芳(1973—),男,教授,博导,主要研究方向为计算语言学。为计算语言学、语料库语言学;俞士汶(1938—
① 也称作ITA(Inter
TaggerAgreement)。
的相关研究.最后,针对词义标注语料库建设存在的问题提出自己的分析和思考.表3参...维普资讯 http://www.cqvip.com 200 8年第1 4卷第1期 8 中国学 术期 ...
词义标注语料库建设综述_教学计划_教学研究_教育专区。词义标注语料库建设综述 NLP第22 卷第 3 期 2008 年 5 月 中文信息学报 JOU RNAL OF CH INESE INFORM...
词义标注语料库建设综述 8页 2下载券 语义网与... 期刊论文,形式语... 张三卜 ,, , , ” 〔 ,, ,, ’ ” 卜 ...
3 第2 6卷 第 3期 语料库建设中的名词标注方法 韩蕾 (.1 华东师范大学 ...其实质是突出 就对 组构有重大影响的句法语义属性,此 对 词义 标注,要给文本...
词义标注语料库建设综述 8页 5财富值 语义网与...3应用与解析3.1基本应用 RDFa在应用时常用的方式有...卷(期): 宋雨, 郑怿, 吴燕, SONG Yu, ZHENG...
2008年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 ...平行语料库 人工智能 中文信息处理 词义消歧 词义标注语料库 翻译等价对 网页...
基于汉英平行语料库对汉语... 4页 1财富值 词义标注语料库建设综述 暂无评价... 英汉平行语料库的难题之一是如何对齐,通过词性标注,能有所帮助。英汉平行语料...
第22卷第1期2008年1月 中文信息学报JOURNALOFCHINESEINFORMATIONPROCESSING V01....第3节详细 地介绍了情感语料库的标注体系,第4节介绍了语 料建设中质量监控的...
本期的三篇论文分别聚焦于这几个点,依次讨论了多义词义项划分、使用词类区分...〔8〕词典并不 本文的研究基于华文教材词义标注语料 库①建设实践。目前,该...
热门文档