本篇文章首先介绍了分词在信息检索、自动标引、自动文摘、机器翻译、语言学研究、搜索引擎研究和自然语言理解等方面的应用以及现有的分词系统;接着介绍分词的基本知识,并提出分词规范的问题,进而引出分词的困难:歧义识别,未登录词识别,分词与理解的先后。
中文自动分词算法综述
内 容 摘 要
本篇文章首先介绍了分词在信息检索、自动标引、自动文摘、机器翻译、语言学研究、搜索引擎研究和自然语言理解等方面的应用以及现有的分词系统;接着介绍分词的基本知识,并提出分词规范的问题,进而引出分词的困难:歧义识别,未登录词识别,分词与理解的先后。
第三章给出三种基本分词方法:基于字符串匹配、基于理解和基于统计的分词方法。特别地给出三种分词算法:最大匹配算法,最少切分算法,基于统计语言模型的分词算法。并分析三种算法的优缺点,指出现有分词算法的局限性。最后从分词算法的特点和输入习惯的角度提出一些新的想法,并对分词算法的发展趋势做出预测。
关键字:分词 匹配 统计 理解
汉语自动分词算法综述_专业资料。本文对目前已有的各种中文自动分词的算法、采用的模型、数据结构等方面进行了分析、比较,探讨了它们的优缺点,并指出了今后的研究...
第3 5卷第 5期 ,.3 No.5 唐山师范学院学报 201 3年 9月 Sep.2013 Journal ofTangshan Teachers College 中文分词算法栅述 甘秋云,2 (1 .福 州海峡 ...
国内中文自动分词技术研究综述奉国和 1 * 1 郑 伟...全面归纳中文 关键技术之一, 分词算法、 歧义消除、... 筛选分别得到相关研究论文经 214、 165 篇, 过...
一种新的汉语自动分词算法的研究和应用_专业资料。针对中文信息处理中词与词之间的歧义切分难点,通过分析词语之间的逻辑关系,然后用泛布尔代数将其表达出来,再将此...
汉语文本自动分词算法的研究_专业资料。分析了中文分词词典的机制,提出了一种改进的整词分词字典结构,并针对机械分词算法的特点,将其与概率算法相结合,探讨了一种...
章致力 于研 究中 文分 词算法, 多种 中 文分 词算法、文对 自动 分词 ...从 2中文分词 技术 综述 21全文检索技术 . 所谓全文检索是指计算机索引程序通过...
演化算法在中文自动分词中的应用_IT/计算机_专业资料。首先对各种现有的中文自动分词算法进行简要比较,并指出其存在的问题,然后针对这些问题,设计了一个基于演化的...
几种基于词典的中文分词算法评价_专业资料。基于词典的中文自动分词是中文信息处理的基础.按照使用计算机缓存的优化原则,分析了几种典型的分词词典机制,指出了其中的...
6页 免费 毕业论文_中文自动分词算法... 25页 5财富值 城市规划原理作业3- 4页 免费 混沌控制综述 6页 10财富值 城市规划原理作业 6页 8财富值...
关于现代中文分词技术的综述_信息与通信_工程科技_专业资料。《信息组织》 论文...三、中文分词技术的分类 我们讨论的分词算法可分为三大类:基于字典、词库匹配的...
热门文档