文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 电脑基础知识 > 数学之美系列(1-24)-谷歌黑板报
侵权投诉

数学之美系列(1-24)-谷歌黑板报

是全世界最好的,而且高出所有基于规则的系统很多。

现在,读者也许已经能感受到数学的美妙之处了,它把一些复杂的问题变得如此的简单。当然,真正实现一个好的统计语言模型还有许多细节问题需要解决。贾里尼克和他的同事的贡献在于提出了统计语言模型,而且很漂亮地解决了所有的细节问题。十几年后,李开复用统计语言模型把997 词语音识别的问题简化成了一个 20 词的识别问题,实现了有史以来第一次大词汇量非特定人连续语音的识别。

我是一名科学研究人员,我在工作中经常惊叹于数学语言应用于解决实际问题上时的神奇。我也希望把这种神奇讲解给大家听。当然,归根结底,不管什莫样的科学方法、无论多莫奇妙的解决手段都是为人服务的。我希望 Google 多努力一分,用户就多一分搜索的喜悦。

二、谈谈中文分词

2006 年4 月10 日上午 08:10:00 发表

者: 吴军, Google 研究员

谈谈中文分词----- 统计语言模型在中文处理中的

一个应用

上回我们谈到利用统计语言模型进行语言处理,由于模型是建立在词的基础上的,对于中日韩等语言,首先需要进行分词。例如把句子 “中国航天官员应邀到美国与太空总署官员开会。” 分成一串词:

中国 / 航天 / 官员 / 应邀 / 到 / 美国 / 与 / 太空 / 总署 / 官员 / 开会。

最容易想到的,也是最简单的分词办法就是查字典。这种方法最早是由北京航天航空大学的梁南元教授提出的。

用 “查字典” 法,其实就是我们把一个句子从左向右扫描一遍,遇到字典里有的词就标识出来,遇到复合词(比如 “上海大学”)就找最长的词匹配,遇到不认识的字串就分割成单字词,于是简单的分词就完成了。这种简单的分词方法完全能处理上面例子中的句子。八十年代,哈工大的王晓龙博士把它理论化,发展成最少词数的分词理论,即一句话应该分成数量最少的词串。这种方法一个明显的不足是当遇到有二义性(有双重理解意思)的分割时就无能为力了。比如,对短语 “发展中国家” 正确的分割是“发展-中-国家”,而从左向右查字典的办法会将它分割成“发展-中国-家”,显然是错了。另外,并非所有的最长匹配都一定是正确的。比如“上海大学城书店” 的正确分词应该是 “上海-大学城-书店,” 而不是 “上海大学-城-书店”。

九十年代以前,海内外不少学者试图用一些文法规则来解决分词的二义性问题,都不是很成功。90 年前后,清华大学的郭进博士用统计语言模型成功解决分词二义性问题,将汉语分词的错误率降低了一个数量级。

上一页第3页

热门文档

相关文档

  • 数学之美 Google 吴军

    我们希 望利用 Google 中文黑板报这块园地,介绍一些数学工具,以及我们是如何利用...数学之美 系列二 -- 谈谈中文分词 2006 年 4 月 10 日 上午 08:10:00 ...

  • 数学之美

    数学之美系列完整版 48页 1财富值 谷歌黑板报--数学之美 45页 免费 数学...6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26...

  • 数学之美Google

    数学之美 系列一 -- 统计语言模型 2006 年 4 月 3 日 上午 08:15:00 ...我们希 望利用 Google 中文黑板报这块园地,介绍一些数学工具,以及我们是如何利用...

  • 谷歌黑板报十年

    谷歌黑板报十年系列网络 2008-10-01 14:51:57 阅读21 评论1 字号:大中小 ... 数学之美系列(1-24)-谷歌... 43页 1下载券 Google 黑板报数学之美 40页...

  • 数学之美 系列番外 -- 平凡而又神奇的贝叶斯方法

    谷歌黑板报--数学之美 45页 免费 数学之美系列完整版 48页 1财富值 浪潮... 数学之美番外篇:平凡而又神奇的贝叶斯方法 BY 刘未鹏 – SEPTEMBER 21, 2008...

  • Google 科学家吴军写的《数学之美》

    科学家吴军写的《数学之美》 Google 科学家吴军写的《数学之美》系列文章数学...中文黑板报这块园地,介绍一些数学工具,以及我们是如何利用这些工具来开发 Google ...

  • 让数学之美走入生活

    喜欢此文档的还喜欢 数学之美 10页 免费 生活中的数学之美 6页 免费 数学之美 74页 免费 谷歌黑板报--数学之美 45页 免费 数学的魅力 12页 免费...

  • Google_科学家吴军写的《数学之美》

    科学家吴军写的《数学之美》 Google 科学家吴军写的《数学之美》系列 文章 ...我 们希望利用 Google 中文黑板报这块园地,介绍一些 数学工具,以及我们是如何...

  • 数学之美01-条件概率在机器翻译中的应用

    Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美 系列一 ...我们希望利用 Google 中文黑板报这块园地,介绍一些数学工具, 以及我们是如何利用...

  • 第一章_基础知识

    浪潮之巅++google黑板报+1... 86页 免费 数学之美 74页 免费 谷歌黑板报...(英文改编版 国外电子与通信教材 系列, 美 系列 [美] Thomas L.Floyd著 余...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email