文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 汉语自动分词的研究现状与困难
侵权投诉

汉语自动分词的研究现状与困难

系 统 仿 真 学 报 Vol. 17 No. 1
JOURNAL OF SYSTEM SIMULATION Jan. 2005
138
汉语自动分词的研究现状与困难
张春霞1 2, 郝天永1
(1中国科学院计算技术研究所
北京 100080
2中国科学院研究生院
北京 100039)
摘 要
汉语自动分词是信息提取 信息检索 机器翻译 文本分类 自动文摘 语音识别 文本
语音转换 自然语言理解等中文信息处理领域的基础研究课题 尽管已被研究了二十多年 分词仍
然是中文信息处理的瓶颈问题 基于对汉语自动分词研究的现状分析 构建了自动分词的形式化模
型 论述了影响分词的诸多因素 分析了分词中存在的两个最大困难及其解决方法 最后指出了目
前分词研究中尤其是在分词评测方面存在的问题以及未来的研究工作

关键词
汉语自动分词
形式化模型
未登录词
分词评测
文章编号
1004-731X (2005) 01-0138-06 中图分类号
TP391 文献标识码
A
The State of the Art and Difficulties in Automatic Chinese Word Segmentation
ZHANG Chun-xia1 2, HAO Tian-yong1
(1Institute of Computing Technology, Chinese of Academy Sciences, Beijing, 100080, China;
2Graduate School of the Chinese of Academy Science, Beijing 100039, China)
Abstract: Automatic Chinese word segmentation is a basic research issue on Chinese information processing tasks such as
information extraction, information retrieval, machine translation, text classification, automatic text summarization, speech
recognition, text-to-speech, natural language understanding, and so on. Though it has been investigated for more than twenty
years, it is still a bottleneck for Chinese information processing. We give a detailed analysis of the state of the art in
automatic Chinese word segmentation, build a formal model of word segmentation, discuss factors affecting word
segmentation and the two great difficulties in word segmentation and their resolutions, and finally, point out the existing
problems, especially those on the word segmentation evaluation, as well as the research problems to be resolved.
Keywords: automatic Chinese word segmentation; formal model; unknown words; word segmentation evaluation

引 言1
汉语是一种词根语
具有如下特点
(1)汉语缺乏形态
变化 没有性 数 格的变化标志 词本身不能显示与其他
词的语法关系
它们的形式也不受其他词的约束
(2)词序
严格
词序不同
意义也随之不同(如
打假
和
假打
意义截然不同) (3)虚词是主要的语法手段(如 老师和学生
和
老师的学生
意义截然不同)
(4)汉语书写系统采用词
标的形式 词与词之间没有明显的形态界限 因此汉语的这
些特征决定了针对其他语言处理的方法并不能完全适用于
汉语信息处理 汉语信息处理又称中文信息处理

第1页

你可能喜欢

热门文档

相关文档

  • 汉语自动分词的研究现状与困难

    2005 汉语自动分词的研究现状与困难张春霞 1 2, 郝天永 1 ( 中国科学院计算技术研究所 北京 100080 1 2 中国科学院研究生院 北京 100039) 摘 要 汉语自动...

  • 汉语自动分词的研究现状与困难

    Ja n . 20 05 汉语 自动 分词的 研究 现状与 困难 张春 霞 ( 中国 科学 , ’ , z , 郝 天永 ; 2 ‘ , 算技 隘卜 术研 究所 , 北京 1 0 ...

  • 中文分词技术的研究现状与困难

    (2009) 07 - 0187 - 03 中文分词技术的研究现状与困难孙铁利 , 刘延吉 ( ...( 4) 孙晓 [13 ] 等提出的基于动态规划的最小代价 路径汉语自动分词方法 ,...

  • 汉语自动分词研究的发展趋势

    汉语自动分词研究的发展趋势●刘晓英 ( 湘潭大学 湖南湘潭 411105) [ 摘要 ] ...设 M 1 汉语词自动分词存在的困难 尽管汉语自动分词取得了重大进展和突破, 但...

  • 【论文】汉语分词技术研究现状与应用展望

    汉语分词技术研究现状与应用展望_专业资料。汉语自动分词是计算机中文信息处理系统的基础和难题,本文对近年来的汉语自动分词的研究方法与成果进行了分析综述。探讨了...

  • 中文分词研究现状

    中文分词研究现状_工学_高等教育_教育专区。中文...很困难– 专业术语 – 缩略语 – 新词语 21 理解...32 “863中文与接口技术 汉语自动分词 中文与接口...

  • 汉语自动分词

    中文分词研究现状 71页 免费汉语自动分词...正是由于汉语分词的困难及其在中文信息自动处理中的重要地位,自 70 年代末以来,...

  • 汉语自动分词与内容分析法研究

    根据目前 汉语自动分词的研究现状, 以及相关学科的发展情况, 汉语自动分词有望在三个重大研究领 域取得突破性进展。 2.1 克服汉语文本切分中的困难,继续研究传统...

  • 汉语自动分词研究评述

    中文分词研究现状 71页 免费 中文分词十年回顾 12页 2财富值 中文自动分词...“ 简单 ” 的任务似乎不得不倚仗比分词本身 困难 得多的句法分析才得以完成...

  • 中文分词研究现状

    未登录词识别困难– 未登录词没有明确边界,缺少英语中的分隔符、大小写、词的...汉语自动分词综述[J].当代语言学, 2001, 3(1), 22-32. 杨尔弘,方莹等....

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email