一般来讲,根据不同应用,汉语分词的颗粒度大小应该不同。比如,在机器翻译中,颗粒度应该大一些,“北京大学”就不能被分成两个词。而在语音识别中,“北京大学”一般是被分成两个词。因此,不同的应用,应该有不同的分词系统。
谈谈中文分词----- 统计语言模型在中文处理中的一个应用
上回我们谈到利用统计语言模型进行语言处理,由于模型是建立在词的基础上的,对于中日韩等语言,首先需要进行分词。例如把句子 “中国航天官员应邀到美国与太空总署官员开会。”
分成一串词:
中国 / 航天 / 官员 / 应邀 / 到 / 美国 / 与 / 太空 / 总署 / 官员 / 开会。
最容易想到的,也是最简单的分词办法就是查字典。这种方法最早是由北京航天航空大学的梁南元教授提出的。
用 “查字典” 法,其实就是我们把一个句子从左向右扫描一遍,遇到字典里有的词就标识出来,遇到复合词(比如 “上海大学”)就找最长的词匹配,遇到不认识的字串就分割成单字词,于是简单的分词就完成了。这种简单的分词方法完全能处理上面例子中的句子。八十年代,哈工大的王晓龙博士把 它理论化,发展成最少词数的分词理论,即一句话应该分成数量最少的词串。这种方法一个明显的不足是当遇到有二义性 (有双重理解意思)的分割时就无能为力了。比如,对短语 “发展中国家” 正确的分割是“发展-中-国家”,而从左向右查字典的办法会将它分割成“发展-中国-家”,显然是错了。另外,并非所有的最长匹配都一定是正确的。比如 “上海大学城书店”的正确分词应该是 “上海-大学城-书店,” 而不是 “上海大学-城-书店”。
九十年代以前,海内外不少学者试图用一些文法规则来解决分词的二义性问题,都不是很成功。90年前后,清华大学的郭进博士用统计语言模型成功解决分词二义性问题,将汉语分词的错误率降低了一个数量级。
利用统计语言模型分词的方法,可以用几个数学公式简单概括如下:
我们假定一个句子S可以有几种分词方法,为了简单起见我们假定有以下三种: A1, A2, A3, ..., Ak,
B1, B2, B3, ..., Bm
C1, C2, C3, ..., Cn
其中,A1, A2, B1, B2, C1, C2 等等都是汉语的词。那么最好的一种分词方法应该保证分完词后这个句子出现的概率最大。也就是说如果 A1,A2,..., Ak 是最好的分法,那么 (P 表示概率):
P (A1, A2, A3, ..., Ak) 〉 P (B1, B2, B3, ..., Bm), 并且
P (A1, A2, A3, ..., Ak) 〉 P(C1, C2, C3, ..., Cn)
因此,只要我们利用上回提到的统计语言模型计算出每种分词后句子出现的概率,并找出其中概率最大的,我们就能够找到最好的分词方法。
科学家吴军写的《数学之美》 Google 科学家吴军写的《数学之美》系列 文章 数学之美 系列一 -- 统计语言模型 2006 年 4 月 3 日 上午 08:15:00 从本...
科学家吴军写的《数学之美》 Google 科学家吴军写的《数学之美》系列文章数学之美 系列一 -- 统计语言模型 2006 年 4 月 3 日 上午 08:15:00 从本周...
2006 年 8 月 9 日 上午 09:12:00 发表者:吴军,Google 研究员 [注:一直关注数学之美系列的读者可能已经发现,我们对任何问题总是在找相应的准确的 数学模型...
十四、谈谈数学模型的重要性 2006 年8 月9 日上午 09:12:00 发表 者:吴军,Google 研究员 [注:一直关注数学之美系列的读者可能已经发现,我们对任何问题总是...
Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美 系列十 有限状态机和地址识别 2006 年 7 月 5 日 上午 09:09:00 发表者:吴军,Google...
Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美系列六 --...吴军,Google 研究员 [离散数学是当代数学的一个重要分支,也是计算机科学的数学...
Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美 系列二十 ...吴军 我 们在前面的系列中介绍和提到了一些年轻有为的科学家,迈克尔·柯林斯,...
数学之美 7页 免费 数学之美系列完整版 48页 1财富值 数学之美 系列十四 3页 免费 数学之美 Google 吴军 39页 1财富值 数学之美 系列十 2页 免费...
Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美 系列八--...Google 研究员,吴军 读 者也许注意到了,我们在前面的系列中多次提到了贾里尼克...
Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美 系列三 -...吴军,Google 研究员 前言:隐含马尔可夫模型是一个数学模型,到目前为之,它一直...
热门文档