文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 中文分词工具
侵权投诉

中文分词工具

当前几个主要的Lucene中文分词器的比较 (ZZ)

1. 基本介绍:

paoding :Lucene中文分词“庖丁解牛” Paoding Analysis

imdict :imdict智能词典所采用的智能中文分词程序

mmseg4j : 用 Chih-Hao Tsai 的 MMSeg 算法 实现的中文分词器

ik :采用了特有的“正向迭代最细粒度切分算法“,多子处理器分析模式

2. 开发者及开发活跃度:

paoding :qieqie.wang, google code 上最后一次代码提交:2008-06-12,svn 版本号 132 imdict :XiaoPingGao, 进入了 lucene contribute,lucene trunk 中 contrib/analyzers/smartcn/ 最后一次提交:2009-07-24,

mmseg4j :chenlb2008,google code 中 2009-08-03 (昨天),版本号 57,log为:mmseg4j-1.7 创建分支

ik :linliangyi2005,google code 中 2009-07-31,版本号 41

3. 用户自定义词库:

paoding :支持不限制个数的用户自定义词库,纯文本格式,一行一词,使用后台线程检测词库的更新,自动编译更新过的词库到二进制版本,并加载

imdict :暂时不支持用户自定义词库。但 原版 ICTCLAS 支持。支持用户自定义 stop words mmseg4j :自带sogou词库,支持名为 wordsxxx.dic, utf8文本格式的用户自定义词库,一行一词。不支持自动检测。 -Dmmseg.dic.path

ik :支持api级的用户词库加载,和配置级的词库文件指定,无 BOM 的 UTF-8 编码,\r\n 分割。不支持自动检测。

4. 速度(基于官方介绍,非自己测试)

paoding :在PIII 1G内存个人机器上,1秒 可准确分词 100万 汉字

imdict :483.64 (字节/秒),259517(汉字/秒)

mmseg4j : complex 1200kb/s左右, simple 1900kb/s左右

ik :具有50万字/秒的高速处理能力

5. 算法和代码复杂度

paoding :svn src 目录一共1.3M,6个properties文件,48个java文件,6895 行。使用不用的 Knife 切不同类型的流,不算很复杂。

imdict :词库 6.7M(这个词库是必须的),src 目录 152k,20个java文件,2399行。使用 ICTCLAS HHMM隐马尔科夫模型,“利用大量语料库的训练来统计汉语词汇的词频和跳转概率,从而根据这些统计结果对整个汉语句子计算最似然(likelihood)的切分”

mmseg4j : svn src 目录一共 132k,23个java文件,2089行。MMSeg 算法 ,有点复杂。 ik : svn src 目录一共6.6M(词典文件也在里面),22个java文件,4217行。多子处理器分析,跟paoding类似,歧义分析算法还没有弄明白。

第1页

你可能喜欢

  • 中文分词技术
  • 中文分词算法
  • 关键词工具
  • 庖丁解牛
  • 统计自然语言处理
  • 现代汉语
  • Java笔记
  • 文本情感分析

热门文档

相关文档

  • 几款常用分词工具的比较研究

    几款常用分词工具的比较研究资料来源于网络 修订于西电实验室 本文档主要针对以下几个分词工具进行分析比较: 1、极易中文分词,je-analysis-1.5.3 2、庖丁分词,...

  • smallseg--开源的PythonJava中文分词工具包

    smallseg -- 开源的,基于 DFA 的轻量级的中文分词工具包 特点:可自定义词典、切割后返回登录词列表和未登录词列表、有一定的新词识别能力。 用法: python 版: ...

  • 中文分词技术

    LibMMSeg 简介 LibMMSeg 是 Coreseek.com 为 Sphinx 全文搜索引擎设计的中文分词软件包, 其在 GPL 协议下发行的中文分词法,采用 Chih-Hao Tsai 的 MMSEG 算法。 ...

  • 中文分词第三版@Excel大全

    中文分词第三版@Excel大全_计算机软件及应用_IT/计算机_专业资料。参数1:Target — 需要分词的目标字符串参数2:Multi — 分词选项:1,最短词;2,二元;3,重要...

  • 汉语分词在中文软件中的广泛应用

    汉语分词在中文软件中的广泛应用摘要中文软件需要具有对中文文本的输入、显示、编辑、输出等基本功能,而且随着 计算机技术的发展, 对于计算机的文本处理能力提出了更高...

  • IKAnalyzer中文分词器V3.2.8使用手册

    18 1.IK Analyzer 3.X 介绍 IK Analyzer 是一个开源的,基于 java 诧言开发的轻量级的中文分词工具包。从 2006 年 12 月推出 1.0 版开始, IKAnalyzer 已经...

  • 中文分词

    中文分词一席谈 suntian@gmail.com 内容提要 ? 中文分词概述 ? 分词技术发展 ...研究所:中科院自动化所、中科院软件所和日本国际电气通信基础技术研究所 ? 高校(...

  • 中文分词法

    中文分词法 中文分词在中文信息处理中是最最基础的,无论机器翻译亦或信息检索... 中文分词代码 6页 免费 中文分词的原理 3页 免费 中文分词工具 2页 免费 ...

  • 中文分词

    中文分词 Chinese Word Segmentation 苏州大学计算机科学与技术学院 分词 ? 英文最...? ? 斯坦福分词系统 斯坦福分词系统是一个开源的软件,它基于CRF(Condition ...

  • 中文分词

    中文分词组件比较 4页 1下载券 中文快速分词方法 5页 2下载券 中文分词工具...分词处理 ? 分词技术的广泛应用:信息检索、人机交互、信 息提取、文本挖掘等。...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email