当然,这里面有一个实现的技巧。如果我们穷举所有可能的分词方法并计算出每种可能性下句子的概率,那么计算量是相当大的。因此,我们可以把它看成是一个动态规划(Dynamic Programming) 的问题,并利用 “维特比”(Viterbi) 算法快速地找到最佳分词。
在清华大学的郭进博士以后,海内外不少学者利用统计的方法,进一步完善中文分词。其中值得一提的是清华大学孙茂松教授和香港科技大学吴德凯教授的工作。
需 要指出的是,语言学家对词语的定义不完全相同。比如说 “北京大学”,有人认为是一个词,而有人认为该分成两个词。一个折中的解决办法是在分词的同时,找到复合词的嵌套结构。在上面的例子中,如果一句话包含 “北京大学”四个字,那么先把它当成一个四字词,然后再进一步找出细分词 “北京” 和 “大学”。这种方法是最早是郭进在 “Computational Linguistics” (《计算机语言学》)杂志上发表的,以后不少系统采用这种方法。
一般来讲,根 据不同应用,汉语分词的颗粒度大小应该不同。比如,在机器翻译中,颗粒度应该大一些,“北京大学”就不能被分成两个词。而在语音识别中,“北京大学”一般 是被分成两个词。因此,不同的应用,应该有不同的分词系统。Google 的葛显平博士和朱安博士,专门为搜索设计和实现了自己的分词系统。
也 许你想不到,中文分词的方法也被应用到英语处理,主要是手写体识别中。因为在识别手写体时,单词之间的空格就不很清楚了。中文分词方法可以帮助判别英语单 词的边界。其实,语言处理的许多数学方法通用的和具体的语言无关。在 Google 内,我们在设计语言处理的算法时,都会考虑它是否能很容易地适用于各种自然语言。这样,我们才能有效地支持上百种语言的搜索。
对中文分词有兴趣的读者,可以阅读以下文献:
1. 梁南元
书面汉语自动分词系统
doc.guandang.net
2. 郭进 统计语言模型和汉语音字转换的一些新结果
doc.guandang.net
3. 郭进
doc.guandang.net
4. 孙茂松
科学家吴军写的《数学之美》 Google 科学家吴军写的《数学之美》系列 文章 数学之美 系列一 -- 统计语言模型 2006 年 4 月 3 日 上午 08:15:00 从本...
科学家吴军写的《数学之美》 Google 科学家吴军写的《数学之美》系列文章数学之美 系列一 -- 统计语言模型 2006 年 4 月 3 日 上午 08:15:00 从本周...
2006 年 8 月 9 日 上午 09:12:00 发表者:吴军,Google 研究员 [注:一直关注数学之美系列的读者可能已经发现,我们对任何问题总是在找相应的准确的 数学模型...
十四、谈谈数学模型的重要性 2006 年8 月9 日上午 09:12:00 发表 者:吴军,Google 研究员 [注:一直关注数学之美系列的读者可能已经发现,我们对任何问题总是...
Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美 系列十 有限状态机和地址识别 2006 年 7 月 5 日 上午 09:09:00 发表者:吴军,Google...
Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美系列六 --...吴军,Google 研究员 [离散数学是当代数学的一个重要分支,也是计算机科学的数学...
Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美 系列二十 ...吴军 我 们在前面的系列中介绍和提到了一些年轻有为的科学家,迈克尔·柯林斯,...
数学之美 7页 免费 数学之美系列完整版 48页 1财富值 数学之美 系列十四 3页 免费 数学之美 Google 吴军 39页 1财富值 数学之美 系列十 2页 免费...
Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美 系列八--...Google 研究员,吴军 读 者也许注意到了,我们在前面的系列中多次提到了贾里尼克...
Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美 系列三 -...吴军,Google 研究员 前言:隐含马尔可夫模型是一个数学模型,到目前为之,它一直...
热门文档