文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 中文分词技术
侵权投诉

中文分词技术

中文分词技术

一、 为什么要进行中文分词?

词是最小的能够独立活动的有意义的语言成分,英文单词之间是以空格作为自然分界符的,而汉语是以字为基本的书写单位,词语之间没有明显的区分标记,因此,中文词语分析是中文信息处理的基础与关键。 Lucene中对中文的处理是基于自动切分的单字切分,或者二元切分。除此之外,还有最大切分(包括向前、向后、以及前后相结合)、最少切分、全切分等等。

二、 中文分词技术的分类

我们讨论的分词算法可分为三大类:基于字典、词库匹配的分词方法;基于词频度统计的分词方法和基于知识理解的分词方法。

第一类方法应用词典匹配、汉语词法或其它汉语语言知识进行分词,如:最大匹配法、最小分词方法等。这类方法简单、分词效率较高,但汉语语言现象复杂丰富,词典的完备性、规则的一致性等问题使其难以适应开放的大规模文本的分词处理。第二类基于统计的分词方法则基于字和词的统计信息,如把相邻字间的信息、词频及相应的共现信息等应用于分词,由于这些信息是通过调查真实语料而取得的,因而基于统计的分词方法具有较好的实用性。

下面简要介绍几种常用方法:

1).逐词遍历法。

逐词遍历法将词典中的所有词按由长到短的顺序在文章中逐字搜索,直至文章结束。也就是说,不管文章有多短,词典有多大,都要将词典遍历一遍。这种方法效率比较低,大一点的系统一般都不使用。

2).基于字典、词库匹配的分词方法(机械分词法)

这种方法按照一定策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行匹配,若在词典中找到某个字符串,则匹配成功。识别出一个词,根据扫描方向的不同分为正向匹配和逆向匹配。根据不同长度优先匹配的情况,分为最大(最长)匹配和最小(最短)匹配。根据与词性标注过程是否相结合,又可以分为单纯分词方法和分词与标注相结合的一体化方法。常用的方法如下:

(一)最大正向匹配法 (MaximumMatchingMethod)通常简称为MM法。其基本思想为:假定分词词典中的最长词有i个汉字字符,则用被处理文档的当前字串中的前i个字作为匹配字段,查找字典。若字典中存在这样的一个i字词,则匹配成功,匹配字段被作为一个词切分出来。如果词典中找不到这样的一个i字词,则匹配失败,将匹配字段中的最后一个字去掉,对剩下的字串重新进行匹配处理…… 如此进行下去,直到匹配成功,即切分出一个词或剩余字串的长度为零为止。这样就完成了一轮匹配,然后取下一个i字字串进行匹配处理,直到文档被扫描完为止。

第1页

你可能喜欢

  • 中文分词算法
  • 统计自然语言处理
  • Excel使用技巧大全(超
  • 搜索引擎技术
  • 百度搜索引擎优化指南

热门文档

相关文档

  • 中文分词技术的研究

    第23卷第3期文章编号:1003—5850(2010)03—0001—03 电脑开发与应用 中文分词技术的研究Researchon Chinese WordSegmentation刘红芝 江苏徐州221004) Techniques (...

  • 中文分词技术及其实现

    第1卷第10期 软件导刊 Str ofwaeGui de VO11.0NO1. 2 1年101月 Jn.0l a21 中文 分词技术及其实现 付年钧 彭昌水 王 慰 ,,(_北省科技信息研究院,北...

  • 中文分词技术的研究

    1? 中文分词技术的研究刘红芝 ( 徐州医学院图书馆 江苏徐州 221004) Research on Ch inese W ord Segm en ta tion Techn iques 【摘要】对中文分词的主要算法...

  • 中文分词技术

    二、 中文分词技术的分类 我们讨论的分词算法可分为三大类:基于字典、词库匹配的分词方法;基于词频 度统计的分词方法和基于知识理解的分词方法。 第一类方法应用词典...

  • 关于现代中文分词技术的综述

    三、中文分词技术的分类 我们讨论的分词算法可分为三大类:基于字典、词库匹配的分词方法;基于词频度 统计的分词方法和基于知识理解的分词方法。 第一类方法应用词典...

  • 中文分词关键技术研究

    南京理工大学 硕士学位论文 中文分词关键技术研究 姓名:曹卫峰 申请学位级别:硕士 专业:计算机应用技术 指导教师:刘凤玉 20090601 硕上论文 中文分词关键技术研究 摘...

  • 中文分词技术

    中文分词技术_IT/计算机_专业资料。中文分词技术研究背景、目的及意义随着信息时代的到来,可供人们查阅和检索的中文信息越来越多,如何在浩 如烟海的中文信息世界里...

  • 国内中文分词技术研究新进展

    情报检索? 国内中文分词技术研究新进展冯书晓 徐新 杨春梅 ( 石河子大学药学院 乌鲁木齐 832002) 摘 要 就开发中文搜索引擎在汉语语言方面的关键技术之一 ,即中文...

  • Google与百度的中文分词技术对比

    中文分词是百度和谷歌的核心技术之一,因此不会将细节公之于。中华论文联盟 只能利用黑盒方法进行推导,也即通过输入检索提问,查看结果情况,并通过两个 搜索引擎都...

  • 中文自动分词技术

    其处理过程词,就要应用到中文自动分词技术。下面依次介绍三种中文 自动分词算法:基于词典的机械匹配的分词方法、基于统计的分词方法和基于人工智 能的分词方法。 1、...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email