
《现代图书情报技术》版权所有,欢迎下载引用!请注明引用地址:词性标注的方法研究———结合条件随机场和基于转换学习的方法进行词性标注[J],现代图书情报技术,2009(3):46-51.
词性标注的方法研究
阴晋岭 王惠临
(中国科学技术信息研究所 北京100038)
———结合条件随机场和基于转换学习的方法进行词性标注
【摘要】词性标注是语料库建设中的重要环节,同时也是自然语言处理领域的基础研究课题。针对词性标注任务中统计处理和规则处理两种方法各自的特点和局限,提出融合条件随机场模型和基于转换学习的方法来进行自动词性标注的方案。实验结果表明,该方案能够有效地提高词性标注的正确率。【关键词】词性标注 条件随机场 基于转换 错误驱动【分类号】TP391.1
ResearchonthePart-of-SpeechTaggingMethod ———POSTaggingusingConditionalRandomFieldsandTransformationBasedLearning
YinJinling WangHuilin
(InstituteofScientificandTechnicalInformationofChina,Beijing100038,China)
【Abstract】POStaggingisanimportantpartofcorporabuildingandabasicresearchinthefieldofNLP.Aftercomparing,anautomaticPOStaggingmethodtheadvantageandweaknessoftherule-basedmethodsandthestatisticalmethodsbasedonbothCRFandTBLispresented.Andthetestsprovethatthemethodcanimprovetheaccuracyofwordstagging.【Keywords】POStagging CRF TBL Error-driven
1 引 言
当今世界正处在一个信息迅速发展的时代。一方面,信息数量急剧增长,信息来源渠道更加多种多样;另一方面,信息的物质载体也变得日益繁多,信息内涵也更加精深,与之相应的需求也变得更加复杂。互联网的蓬勃发展对当今的社会发展产生了深刻的影响,能够高效地处理大规模文本并且从中抽取出有价值的语言信息的计算语言学(ComputationalLinguistics)快速成长起来。
语料库语言学是在语料库的基础上对语言进行分析和研究的科学,经过科学选材和标注,具有适当规模的语料库能够反映和记录语言的实际使用情况。人们通过语料库观察和把握语言事实,分析和研究语言系统的规律。作为语料库建设的重要一环,同时也是自然语言处理(NaturalLanguageProcessing,NLP)的重要和基础的研究课题之一,词性标注(Part-of-SpeechTagging,POSTagging)是一项非常重要的基础性工作。
1] 词性标注是指为给定句子中的每个词赋予正确的词法标记[,它是自然语言处理中重要的和基础的研究课

收稿日期:2008-12-03
2009-02-11 收修改稿日期:
多语言信息服务环境关键技术研究与应用”(项目编号:2006BAH03B02)和中国科学技术信息研究所学科建 本文系国家科技支撑计划“
设课题基金项目“语言技术与知识技术”(项目编号:2008DP01-9)的研究成果之一。
现代图书情报技术
基于条件随机场的汉语词性标注方法研究_专业资料。本文提出了一种基于条件随机场模型的汉语词性标注方法。该方法能够充分利用词的上下文信息作为特征。实验表明,该...
提出了一种基于条件随机场CRFs(Conditional Random Fields)模型的无监督的中文词性标注方法。首先利用词典对获得的已分好词的生文本进行词性标注,得到初始标注语料,...
基于条件随机场_CRFs_的中文词性标注方法_IT/...本文利用 CRFs 的特点 , 在进行词性标注 时不但...称 为初始标注 ,然后通过规则学习的方法获取新的...
,又引入长距离特征有效地标注复杂兼类词,以及应用后缀词与命名实体识别等方法提高未知词的标注精度.在条件随机域模型框架下,进一步探讨了融合模型的方法及性能.词性...
词性标注是英汉机器翻译系统中一个基础性的研究课题。提出了一种基于决策树的词性标注的非监督学习算法,在只有一个词库的有限条件下,通过决策树进行词性标注的非监督...
本文对规则与统计相结合的词性标注方法进行 了研 究, 实现 了一 个HMM(ie...其中,omao.adlri)isen T L方法 是Bi提出的基于转换的错误驱动学习方法,克 ...
模型的词性标注方法 机器学习规则的方法 基于转换的...所谓对 W 进行词性 标注就是在给定 W 和带有词性... 基于条件随机场_CRFs_的... 5页 免费 一种自...
如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击此处进行反馈。 加入会员!获取文档下载券 基于HMM的蒙古文自动词性标注研究 描述了...
基于实例的中文分词-词性标注方法的应用研究_专业资料。通过实验证明基于实例的... 中文分词和词性标注模型 36人阅读 3页 2.00 基于条件随机场的汉语词.....
在本文的标注方法中,首先采用 最大熵进行初次标注,和正常的最大熵词性标注 不...基于条件随机域的词性标注模型. 计算机工程与应用,2006,21:13-16. 王广正,王...
热门文档