自然语言检索中的中文分词技术研究进展及应用

第26卷第5期2008年5月

情　报　科　学

Vol.26,No.5

May,2008

自然语言检索中的中文分词技术研究进展及应用

何　莘,王琬芜

1

2

(1.西安石油大学机械工程学院,陕西西安710065;2.浙江大学信息科学与工程学院,浙江杭州310058)

摘　要:中文分词技术是实现自然语言检索的重要基础,,无论是。行相关检索,关键词:中文分词;自动分词;中图分类号:TP391:文章编号:1007-7634(2008)05-0787-05

RofChineseWordSegmentationTechnical

BasedonNaturalLanguageInformationRetrieval

HEXin,WANGWan-wu

1

2

(1.SchoolofMechanicalEngineering,XiπanShiyouUniversity,Xiπan710065,China;2.SchoolofInformationScienceandEngineering,ZhejiangUniversity,Hangzhou310058,China)Abstract:Chinesewordsegmentationtechniqueistheimportantfoundationthatrealizethenaturallanguagere2trieval,alsoisthekeytopicoftheresearchininformationretrievaldomain.Professionalinformationretrievalsys2temandsearchenginebothdependontheresearchachievementsofwordsegmentationtechnique.Thispaperin2dexesinthedomesticandinternationalfamousdatabase,thenChinesewordsegmentationtechniquehasbeenana2lyzedinfamoussearchenginesissummarized.

Keywords:Chinesewordsegmentation;automaticwordsegmentation;wordsegmentationalgorithm

词算法可分为三大类:基于字符串匹配的分词方

1　分词及分词算法

从中文自然语言句子中划分出有独立意义词的

过程被称为分词。众所周知,英文是以词为单位的,词和词之间是靠空格隔开,而中文是以字为单位。由于中文词与词之间没有明确的边界,因此,中文分词技术中文信息处理的基础是机器翻译、分类、搜索引擎以及信息检索。中文分词技术属于自然语言处理技术的范畴,是语义理解过程中最初的一个环节,它将组成语句的核心词提炼出来供语义分析模块使用,在分词的过程中,如何能够恰当地提供足够的词来供分析程序处理,计算机如何完成这一过程?其处理过程就称为分词算法。现有的分

收稿日期:2007-10-23

法、基于理解的分词方法和基于统计的分词方法。　　111　基于字符串匹配的分词方法

这种方法又叫做机械分词方法,它是按照一定

的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行匹配,若在词典中找到某个字符串,则匹配成功(识别出一个词)。按照扫描方向的不同,串匹配分词方法可以分为正向匹配和逆向匹配;按照不同长度优先匹配的情况,可以分为最大(最长)匹配和最小(最短)匹配;按照是否与词性标注过程相结合,又可以分为单纯分词方法和分词与标注相结合的一体化方法。

(1)正向最大匹配法(MM法)。其基本思想

作者简介:何　莘(1968-),女,河北保定人,工程师,从事信息存储与检索技术、数字资源管理、搜索引擎技术等研究.