中文分词技术
一、 为什么要进行中文分词?
词是最小的能够独立活动的有意义的语言成分,英文单词之间是以空格作为自然分界符的,而汉语是以字为基本的书写单位,词语之间没有明显的区分标记,因此,中文词语分析是中文信息处理的基础与关键。 Lucene中对中文的处理是基于自动切分的单字切分,或者二元切分。除此之外,还有最大切分(包括向前、向后、以及前后相结合)、最少切分、全切分等等。
二、 中文分词技术的分类
我们讨论的分词算法可分为三大类:基于字典、词库匹配的分词方法;基于词频度统计的分词方法和基于知识理解的分词方法。
第一类方法应用词典匹配、汉语词法或其它汉语语言知识进行分词,如:最大匹配法、最小分词方法等。这类方法简单、分词效率较高,但汉语语言现象复杂丰富,词典的完备性、规则的一致性等问题使其难以适应开放的大规模文本的分词处理。第二类基于统计的分词方法则基于字和词的统计信息,如把相邻字间的信息、词频及相应的共现信息等应用于分词,由于这些信息是通过调查真实语料而取得的,因而基于统计的分词方法具有较好的实用性。
下面简要介绍几种常用方法:
1).逐词遍历法。
逐词遍历法将词典中的所有词按由长到短的顺序在文章中逐字搜索,直至文章结束。也就是说,不管文章有多短,词典有多大,都要将词典遍历一遍。这种方法效率比较低,大一点的系统一般都不使用。
2).基于字典、词库匹配的分词方法(机械分词法)
这种方法按照一定策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行匹配,若在词典中找到某个字符串,则匹配成功。识别出一个词,根据扫描方向的不同分为正向匹配和逆向匹配。根据不同长度优先匹配的情况,分为最大(最长)匹配和最小(最短)匹配。根据与词性标注过程是否相结合,又可以分为单纯分词方法和分词与标注相结合的一体化方法。常用的方法如下:
(一)最大正向匹配法 (MaximumMatchingMethod)通常简称为MM法。其基本思想为:假定分词词典中的最长词有i个汉字字符,则用被处理文档的当前字串中的前i个字作为匹配字段,查找字典。若字典中存在这样的一个i字词,则匹配成功,匹配字段被作为一个词切分出来。如果词典中找不到这样的一个i字词,则匹配失败,将匹配字段中的最后一个字去掉,对剩下的字串重新进行匹配处理…… 如此进行下去,直到匹配成功,即切分出一个词或剩余字串的长度为零为止。这样就完成了一轮匹配,然后取下一个i字字串进行匹配处理,直到文档被扫描完为止。
第23卷第3期文章编号:1003—5850(2010)03—0001—03 电脑开发与应用 中文分词技术的研究Researchon Chinese WordSegmentation刘红芝 江苏徐州221004) Techniques (...
第1卷第10期 软件导刊 Str ofwaeGui de VO11.0NO1. 2 1年101月 Jn.0l a21 中文 分词技术及其实现 付年钧 彭昌水 王 慰 ,,(_北省科技信息研究院,北...
1? 中文分词技术的研究刘红芝 ( 徐州医学院图书馆 江苏徐州 221004) Research on Ch inese W ord Segm en ta tion Techn iques 【摘要】对中文分词的主要算法...
二、 中文分词技术的分类 我们讨论的分词算法可分为三大类:基于字典、词库匹配的分词方法;基于词频 度统计的分词方法和基于知识理解的分词方法。 第一类方法应用词典...
三、中文分词技术的分类 我们讨论的分词算法可分为三大类:基于字典、词库匹配的分词方法;基于词频度 统计的分词方法和基于知识理解的分词方法。 第一类方法应用词典...
南京理工大学 硕士学位论文 中文分词关键技术研究 姓名:曹卫峰 申请学位级别:硕士 专业:计算机应用技术 指导教师:刘凤玉 20090601 硕上论文 中文分词关键技术研究 摘...
中文分词技术_IT/计算机_专业资料。中文分词技术研究背景、目的及意义随着信息时代的到来,可供人们查阅和检索的中文信息越来越多,如何在浩 如烟海的中文信息世界里...
情报检索? 国内中文分词技术研究新进展冯书晓 徐新 杨春梅 ( 石河子大学药学院 乌鲁木齐 832002) 摘 要 就开发中文搜索引擎在汉语语言方面的关键技术之一 ,即中文...
中文分词是百度和谷歌的核心技术之一,因此不会将细节公之于。中华论文联盟 只能利用黑盒方法进行推导,也即通过输入检索提问,查看结果情况,并通过两个 搜索引擎都...
其处理过程词,就要应用到中文自动分词技术。下面依次介绍三种中文 自动分词算法:基于词典的机械匹配的分词方法、基于统计的分词方法和基于人工智 能的分词方法。 1、...
热门文档