中文分词工具介绍
中文分词工具介绍
分词工具
支持语言
原理
分词速度
文档完整性 详细
词典及扩展性
NLPIR(ICTCLAS) 中文、英文 隐马尔科夫模型(HHMM)
50万字/秒 (996Kb/s)
支持单条导入用户词典,也可以批量导入用户词典
IKAnalyzer
英文字母、数字、中文词汇等分词处理,兼容韩文、日文字符 中文
正向迭代最细粒度切分算法
83 万字/秒(1600Kb/s)
详细
收录27万中文词汇, 支持用户词典扩展定义、支持自定义停止词
Paoding-Analysis
100万字/秒 (1900Kb/s) Complex 60万字/秒(1200Kb/s) Simple 97万字/秒 1900Kb/s
极少
支持不限制个数的用户自定义词库 使用sougou词库,也可自定义覆盖
MMSeg4j
中文,包括一些字符的处理 英文、俄文、希腊、数字
用Chih-Hao Tsai 的
MMSeg 算法。MMSeg 算法有两种分词方法:Simple和Complex,都是基于正向最大匹配。在complex基础上实现了最多分词(max-word)
隐马尔科夫模型(HHMM)
极少
Imdict-Chinese-Analyzer
中文、英文、数字 25万字/秒 (480Kb/s)
极少
算法和语料库词典来自于ictclas1.0项目
JE-Analysis
中文、英文、数字
极少
中文分词工具_IT/计算机_专业资料。当前几个主要的 Lucene 中文分词器的比较 (ZZ) 1. 基本介绍: paoding :Lucene 中文分词“庖丁解牛” Paoding Analysis imdict...
CSW中文分词组件_计算机软件及应用_IT/计算机_专业资料。CSW 中文分词组件 软件介绍一、中文智能分词简介 中文自动分词技术是对现代汉语序列文本语句,将其自动拆分为以...
中文分词工具 2页 免费 中文快速分词方法 5页 2下载券 中文分词技术的研究 3...中文分词技术属于自然语言处理技术范畴, 对于一句话, 人可以通过自己的知识来明白...
IKAnalyzer 简介 IKAnalyzer 是一个开源基于 JAVA 语言的轻量级的中文分词第三方工具 包,从 2006 年推出已经经历了三个较为完整的版本,目前最新版本为 3.2.8, ...
LibMMSeg 简介 LibMMSeg 是 Coreseek.com 为 Sphinx 全文搜索引擎设计的中文分词软件包, 其在 GPL 协议下发行的中文分词法,采用 Chih-Hao Tsai 的 MMSEG 算法。 ...
个分词工具进行分析比较: 1、极易中文分词,je-analysis-1.5.3 2、庖丁分词...据介绍/此 次/共/成立/7 支/街道/救援/队伍/共有/70 名/急救/队员/队员...
17 1.IK Analyzer 2012 介绍 IK Analyzer 是一个开源的,基于 java 语言开发的轻量级的中文分词工具包。从 2006 年 12 月推出 1.0 版开始, IKAnalyzer 已经...
smallseg -- 开源的,基于 DFA 的轻量级的中文分词工具包 特点:可自定义词典、切割后返回登录词列表和未登录词列表、有一定的新词识别能力。 用法: python 版: ...
全文检索服务中文分词技术_IT/计算机_专业资料。介绍比较主流的全文检索分词技术以及...IKAnalyzer: IKAnalyzer 是一个开源的,基于 java 语言开发的轻量级的中文分词工具...
汉语分词在中文软件中的广泛应用摘要中文软件需要具有对中文文本的输入、显示、...对我们曾经试验过的几种分词算法, 也是目前比较被广泛使用 的方法加以简单介绍:...
热门文档