文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机软件及应用 > 词性标注的方法研究-结合条件随机场和基于转换学习的方法进行词性标注
侵权投诉

词性标注的方法研究-结合条件随机场和基于转换学习的方法进行词性标注

词性标注的方法研究-结合条件随机场和基于转换学习的方法进行词性标注

《现代图书情报技术》版权所有,欢迎下载引用!请注明引用地址:词性标注的方法研究———结合条件随机场和基于转换学习的方法进行词性标注[J],现代图书情报技术,2009(3):46-51.

词性标注的方法研究

阴晋岭 王惠临

(中国科学技术信息研究所 北京100038)

  ———结合条件随机场和基于转换学习的方法进行词性标注

【摘要】词性标注是语料库建设中的重要环节,同时也是自然语言处理领域的基础研究课题。针对词性标注任务中统计处理和规则处理两种方法各自的特点和局限,提出融合条件随机场模型和基于转换学习的方法来进行自动词性标注的方案。实验结果表明,该方案能够有效地提高词性标注的正确率。【关键词】词性标注 条件随机场 基于转换 错误驱动【分类号】TP391.1

ResearchonthePart-of-SpeechTaggingMethod  ———POSTaggingusingConditionalRandomFieldsandTransformationBasedLearning

YinJinling WangHuilin

(InstituteofScientificandTechnicalInformationofChina,Beijing100038,China)

【Abstract】POStaggingisanimportantpartofcorporabuildingandabasicresearchinthefieldofNLP.Aftercomparing,anautomaticPOStaggingmethodtheadvantageandweaknessoftherule-basedmethodsandthestatisticalmethodsbasedonbothCRFandTBLispresented.Andthetestsprovethatthemethodcanimprovetheaccuracyofwordstagging.【Keywords】POStagging CRF TBL Error-driven

1 引 言

  当今世界正处在一个信息迅速发展的时代。一方面,信息数量急剧增长,信息来源渠道更加多种多样;另一方面,信息的物质载体也变得日益繁多,信息内涵也更加精深,与之相应的需求也变得更加复杂。互联网的蓬勃发展对当今的社会发展产生了深刻的影响,能够高效地处理大规模文本并且从中抽取出有价值的语言信息的计算语言学(ComputationalLinguistics)快速成长起来。

  语料库语言学是在语料库的基础上对语言进行分析和研究的科学,经过科学选材和标注,具有适当规模的语料库能够反映和记录语言的实际使用情况。人们通过语料库观察和把握语言事实,分析和研究语言系统的规律。作为语料库建设的重要一环,同时也是自然语言处理(NaturalLanguageProcessing,NLP)的重要和基础的研究课题之一,词性标注(Part-of-SpeechTagging,POSTagging)是一项非常重要的基础性工作。

1]  词性标注是指为给定句子中的每个词赋予正确的词法标记[,它是自然语言处理中重要的和基础的研究课

词性标注的方法研究-结合条件随机场和基于转换学习的方法进行词性标注

  收稿日期:2008-12-03

2009-02-11  收修改稿日期:

多语言信息服务环境关键技术研究与应用”(项目编号:2006BAH03B02)和中国科学技术信息研究所学科建  本文系国家科技支撑计划“

设课题基金项目“语言技术与知识技术”(项目编号:2008DP01-9)的研究成果之一。

 现代图书情报技术

第1页

你可能喜欢

  • 条件随机场
  • 最大熵模型
  • 中文分词技术
  • 英语词性转换
  • 中考词性转换
  • 初中词性转换
  • 高考词性转换
  • 单词词性转换

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email