中文分词 中文分词切分技术研究

CN4321258/TP ISSN10072130X
计算机工程与科学
COMPUTERENGINEERING&SCIENCE
2008年第30卷第5期
Vol130,No15,2008
文章编号:10072130X(2008)0520126203
3
中文分词切分技术研究
ResearchontheWordCuttingofChineseWordSegmentation
徐 飞,孙劲光XUFei,SUNJin2guang
(辽宁工程技术大学电子与信息工程学院,(SchoolofElectronicsandInformationEngineeringU125105,China)
摘 要:,算法所得到的结果集进行叠加,,最后应用最短路径算法求解有向图。通过,Nutch原始搜索系统提高了其汉语切分的准确性以及切分速度,同时部。
Abstract:Thispapertheexistingsegmentationalgorithms,comparesdifferentalgorithmsonthebasisoftheiradvantagesanddisadvantages.Thepaperproposesthesuperpositionresultsofpositiveandreversematchingalgorithms,generatesarough2cuttingresult,andconstructsanon2negativerightgraph.Finallyweobtaintherightresultsbyusingtheshortestpathalgorithm.ItisusedinNutch,andtheresultsshowthatthealgorithmiseffectiveinimprovingChineseseg2mentation,cuttingaccuracyandcuttingspeed,Meanwhileapartialsolutiontotheintersectionoftheambiguitysegmenta2tionproblemisgiven.
关键词:中文分词;最短路径;叠加运算
Keywords:Chinese2word2segmentation;shortestpath;superposition中图分类号:TP391.2文献标识码:A
号分界,在没有一定规则的前提下,计算机很难理解“姐”和
1 引言
中文分词是中文自然语言理解和处理的重要环节,也是一个比较复杂和困难的问题。它是自动翻译、文本检索、语音识别、文本校对以及搜索技术中的重要组成部分。分词就是将连续的字符串或序列按照一定的规范重新组合成词序列的过程[1]。本文定义的分词(TextSegmentation或者WordSegmentation)就是对计算机不能直接理解的字符串或者序列按照一定的规则裁分并最终组合成计算机可以理解的词序列的过程。西文的行文中,空格是天然的分界符。因此,对于西文的各种处理比较直观和方便。而中文只有最简单的句与句之间的划界(比如标点符号之类),词与词之间没有明显分界符。例如一个最简单的例子,英语:Icallhersister;译文:我叫她姐姐。在西文处理中,计算机可以通过空格和标点符号确定“sister”为一个独立语意单位,独自构成一个词。但是,在译文中由于没有明显标点符
3
“姐”共同构成一个语意单位。
2 中文分词技术概述
2.1 中文分词技术中存在的难题
如引言中所述,中文自然语言的理解和处理远比西文复杂,主要体现在以下几个方面[1]:
(1)分词的规范问题:词的确切概念难以标准化,词的
应用领域不同,使得分词规范难以统一,需要达到的分词效果也有很大区别。
(2)歧义切分:对于特定的句子或字符串可能存在多种
切分方法,不同的切分方法具有不同的含义,因此会导致组合型歧义和交集型歧义。
(3)新词识别:汉字系统是一个开放性系统,可能不断
有新词产生,最典型的如人名、地名以及各类术语,分词系
收稿日期:2007209210;修订日期:2007210227
作者简介:徐飞(1983),男,内蒙古集宁人,硕士生,研究方向为数据库及应用;孙劲光,博士,研究方向为图形与图像。通讯地址:125105辽宁省葫芦岛市龙湾南大街188号033信箱;Tel:13591998476;E2mail:xufei_19830513@126.com
Address:MailBox033,188LongwanAvenueSouth,Huludao,Liaoning125105,P.R.China
126
ACADEMIC RESEARCH 学术研究 . 面向未登录领域词切分的中文分词技术研 究 ◆ 蔡荣彦 摘要 :本文通过研 究现有 中文分词技 术的理论和 工具 ,提 出一种 面向...
(2010)03—0001—03 电脑开发与应用 中文分词技术的研究Researchon Chinese Word...早期主要采取机械匹配的方法,但 由于缺乏歧义切分的处理,故切分的精度较低,后来...
情报杂志 2002 年第 11 期 情报检索 国内中文分词技术研究新进展冯书晓 徐新...这样, 如果要对中文文档进行基于 词的处理, 必须 先要进行词的切分处理, 以...
因此,对中文分词的研究 具有重要的理论和现实意义。本文将重点研究中文分词的词典机制、歧义消除、切分算法等技术。 鉴于语言的统计规律性,本文的中文分词算法使用...
国内中文分词技术研究新进展国内中文分词技术研究新进展国内中文分词技术研究新...一 通过 文档中的汉字串和词表中的词逐一 匹配 来完成词的切分 。下面笔者就...
中文分词技术研究_信息与通信_工程科技_专业资料。Hadoop,hbase分词算法一般有...ChineseAnalyzer 采取一个字符一个字符切分的方法,例如我想去北京 今日推荐 ...
中文分词技术的研究现状与困难_IT/计算机_专业资料。中文分词技术是中文信息处理... 而是在于切分歧义消解和未登录 词语的识别 .在中文分词过程中 , 这两大难题...
>>第 55 卷第 2 期 2011 年 1 月 国内中文自动分词技术研究综述奉国和 1...法有: 正向最大匹配法、 逆向最大匹配法、 双向最大匹 配法、 最少切分等...
26 ,No. 5 May ,2008 自然语言检索中的中文分词技术研究进展及应用何 , 王... str 为待切分的字串 , MM 法是每次从 str 中取长度为 MAX 长度的子串与...
热门文档