文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 自然科学 > 吴军-数学之美系列
侵权投诉

吴军-数学之美系列

一般来讲,根据不同应用,汉语分词的颗粒度大小应该不同。比如,在机器翻译中,颗粒度应该大一些,“北京大学”就不能被分成两个词。而在语音识别中,“北京大学”一般是被分成两个词。因此,不同的应用,应该有不同的分词系统。

谈谈中文分词----- 统计语言模型在中文处理中的一个应用

上回我们谈到利用统计语言模型进行语言处理,由于模型是建立在词的基础上的,对于中日韩等语言,首先需要进行分词。例如把句子 “中国航天官员应邀到美国与太空总署官员开会。”

分成一串词:

中国 / 航天 / 官员 / 应邀 / 到 / 美国 / 与 / 太空 / 总署 / 官员 / 开会。

最容易想到的,也是最简单的分词办法就是查字典。这种方法最早是由北京航天航空大学的梁南元教授提出的。

用 “查字典” 法,其实就是我们把一个句子从左向右扫描一遍,遇到字典里有的词就标识出来,遇到复合词(比如 “上海大学”)就找最长的词匹配,遇到不认识的字串就分割成单字词,于是简单的分词就完成了。这种简单的分词方法完全能处理上面例子中的句子。八十年代,哈工大的王晓龙博士把 它理论化,发展成最少词数的分词理论,即一句话应该分成数量最少的词串。这种方法一个明显的不足是当遇到有二义性 (有双重理解意思)的分割时就无能为力了。比如,对短语 “发展中国家” 正确的分割是“发展-中-国家”,而从左向右查字典的办法会将它分割成“发展-中国-家”,显然是错了。另外,并非所有的最长匹配都一定是正确的。比如 “上海大学城书店”的正确分词应该是 “上海-大学城-书店,” 而不是 “上海大学-城-书店”。

九十年代以前,海内外不少学者试图用一些文法规则来解决分词的二义性问题,都不是很成功。90年前后,清华大学的郭进博士用统计语言模型成功解决分词二义性问题,将汉语分词的错误率降低了一个数量级。

利用统计语言模型分词的方法,可以用几个数学公式简单概括如下:

我们假定一个句子S可以有几种分词方法,为了简单起见我们假定有以下三种: A1, A2, A3, ..., Ak,

B1, B2, B3, ..., Bm

C1, C2, C3, ..., Cn

其中,A1, A2, B1, B2, C1, C2 等等都是汉语的词。那么最好的一种分词方法应该保证分完词后这个句子出现的概率最大。也就是说如果 A1,A2,..., Ak 是最好的分法,那么 (P 表示概率):

P (A1, A2, A3, ..., Ak) 〉 P (B1, B2, B3, ..., Bm), 并且

P (A1, A2, A3, ..., Ak) 〉 P(C1, C2, C3, ..., Cn)

因此,只要我们利用上回提到的统计语言模型计算出每种分词后句子出现的概率,并找出其中概率最大的,我们就能够找到最好的分词方法。

上一页第4页

你可能喜欢

  • 科学之美
  • 中文分词技术
  • 数学美欣赏
  • 数学问题
  • 世界名言
  • 数学与建筑

热门文档

相关文档

  • Google_科学家吴军写的《数学之美》

    科学家吴军写的《数学之美》 Google 科学家吴军写的《数学之美》系列 文章 数学之美 系列一 -- 统计语言模型 2006 年 4 月 3 日 上午 08:15:00 从本...

  • Google 科学家吴军写的《数学之美》

    科学家吴军写的《数学之美》 Google 科学家吴军写的《数学之美》系列文章数学之美 系列一 -- 统计语言模型 2006 年 4 月 3 日 上午 08:15:00 从本周...

  • 数学之美 系列十四

    2006 年 8 月 9 日 上午 09:12:00 发表者:吴军,Google 研究员 [注:一直关注数学之美系列的读者可能已经发现,我们对任何问题总是在找相应的准确的 数学模型...

  • 数学之美系列(1-24)-谷歌黑板报

    十四、谈谈数学模型的重要性 2006 年8 月9 日上午 09:12:00 发表 者:吴军,Google 研究员 [注:一直关注数学之美系列的读者可能已经发现,我们对任何问题总是...

  • 数学之美 系列十

    Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美 系列十 有限状态机和地址识别 2006 年 7 月 5 日 上午 09:09:00 发表者:吴军,Google...

  • 数学之美 系列六

    Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美系列六 --...吴军,Google 研究员 [离散数学是当代数学的一个重要分支,也是计算机科学的数学...

  • 数学之美 系列二十

    Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美 系列二十 ...吴军 我 们在前面的系列中介绍和提到了一些年轻有为的科学家,迈克尔·柯林斯,...

  • 数学之美 系列五

    数学之美 7页 免费 数学之美系列完整版 48页 1财富值 数学之美 系列十四 3页 免费 数学之美 Google 吴军 39页 1财富值 数学之美 系列十 2页 免费...

  • 数学之美 系列八

    Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美 系列八--...Google 研究员,吴军 读 者也许注意到了,我们在前面的系列中多次提到了贾里尼克...

  • 数学之美 系列三

    Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美 系列三 -...吴军,Google 研究员 前言:隐含马尔可夫模型是一个数学模型,到目前为之,它一直...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email