Google 的使命是整合全球的信息,所以我们一直致力于研究如何让机器对信息、语言做最好的理解和处理。长期以来,人类一直梦想着能让机器代替人来翻译语言、识别语音、认识文字(不论是印刷体或手写体)和进行海量文献的自动检索,这就需要让机器理解语言。但是人类的语言可以说是信息里最复杂最动态的一部分。为了解决这个问题,人们容易想到的办法就是让机器模拟人类进行学习 -学习人类的语法、分析语句等等。尤其是在乔姆斯基(Noam Chomsky 有史以来最伟大的语言学家)提出 “形式语言” 以后,人们更坚定了利用语法规则的办法进行文字处理的信念。遗憾的是,几十年过去了,在计算机处理语言领域,基于这个语法规则的方法几乎毫无突破。
其实早在几十年前,数学家兼信息论的祖师爷香农 (Claude Shannon) 就提出了用数学的办法处理自然语言的想法。遗憾的是当时的计算机条件根本无法满足大量信息处理的需要,所以他这个想法当时并没有被人们重视。七十年代初,有了大规模集成电路的快速计算机后,香农的梦想才得以实现。
首先成功利用数学方法解决自然语言处理问题的是语音和语言处理大师贾里尼克 (Fred Jelinek)。当时贾里尼克在 IBM 公司做学术休假 (Sabbatical Leave) ,领导了一批杰出的科学家利用大型计算机来处理人类语言问题。统计语言模型就是在那个时候提出的。
给大家举个例子:在很多涉及到自然语言处理的领域,如机器翻译、语音识别、印刷体或手写体识别、拼写纠错、汉字输入和文献查询中,我们都需要知道一个文字序列是否能构成一个大家能理解的句子,显示给使用者。对这个问题,我们可以用一个简单的统计模型来解决这个问题。
如果 S 表示一连串特定顺序排列的词 w1, w2,…, wn ,换句话说,S 可以表示某一个由一连串特定顺序排练的词而组成的一个有意义的句子。现在,机器对语言的识别从某种角度来说,就是想知道S 在文本中出现的可能性,也就是数学上所说的S 的概率用 P(S) 来表示。利用条件概率的公式,S 这个序列出现的概率等于每一个词出现的概率相乘,于是P(S) 可展开为:
P(S) = P(w1)P(w2|w1)P(w3| w1 w2)…P(wn|w1 w2…wn-1)
其中 P (w1) 表示第一个词w1 出现的概率;P (w2|w1) 是在已知第一个词的前提下,第二个词出现的概率;以次类推。不难看出,到了词wn,它的出现概率取决于它前面所有词。从计算上来看,各种可能性太多,无法实现。因此我们假定任意一个词wi 的出现概率只同它前面的词 wi-1 有关(即马尔可夫假设),于是问题就变得很简单了。现在,S 出现的概率就变为:
P(S) = P(w1)P(w2|w1)P(w3|w2)…P(wi|wi-1)… (当然,也可以假设
一个词又前面N-1 个词决定,模型稍微复杂些。)
接下来的问题就是如何估计 P (wi|wi-1) 。现在有了大量机读文本后,这个问题变得很简单,只要数一数这对词(wi-1,wi) 在统计的文本中出现了多少次,以及 wi-1 本身在同样的文本中前后相邻出现了多少次,然后用两个数一除就可以了,P(wi|wi-1) = P(wi-1,wi)/ P (wi-1) 。
也许很多人不相信用这么简单的数学模型能解决复杂的语音识别、机器翻译等问题。其实不光是常人,就连很多语言学家都曾质疑过这种方法的有效性,但事实证明,统计语言模型比任何已知的借助某种规则的解决方法都有效。比如在 Google 的中英文自动翻译中,用的最重要的就是这个统计语言模型。去年美国标准局(NIST) 对所有的机器翻译系统进行了评测,Google 的系统是不仅
我们希 望利用 Google 中文黑板报这块园地,介绍一些数学工具,以及我们是如何利用...数学之美 系列二 -- 谈谈中文分词 2006 年 4 月 10 日 上午 08:10:00 ...
数学之美系列完整版 48页 1财富值 谷歌黑板报--数学之美 45页 免费 数学...6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26...
数学之美 系列一 -- 统计语言模型 2006 年 4 月 3 日 上午 08:15:00 ...我们希 望利用 Google 中文黑板报这块园地,介绍一些数学工具,以及我们是如何利用...
谷歌黑板报十年系列网络 2008-10-01 14:51:57 阅读21 评论1 字号:大中小 ... 数学之美系列(1-24)-谷歌... 43页 1下载券 Google 黑板报数学之美 40页...
谷歌黑板报--数学之美 45页 免费 数学之美系列完整版 48页 1财富值 浪潮... 数学之美番外篇:平凡而又神奇的贝叶斯方法 BY 刘未鹏 – SEPTEMBER 21, 2008...
科学家吴军写的《数学之美》 Google 科学家吴军写的《数学之美》系列文章数学...中文黑板报这块园地,介绍一些数学工具,以及我们是如何利用这些工具来开发 Google ...
喜欢此文档的还喜欢 数学之美 10页 免费 生活中的数学之美 6页 免费 数学之美 74页 免费 谷歌黑板报--数学之美 45页 免费 数学的魅力 12页 免费...
科学家吴军写的《数学之美》 Google 科学家吴军写的《数学之美》系列 文章 ...我 们希望利用 Google 中文黑板报这块园地,介绍一些 数学工具,以及我们是如何...
Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美 系列一 ...我们希望利用 Google 中文黑板报这块园地,介绍一些数学工具, 以及我们是如何利用...
浪潮之巅++google黑板报+1... 86页 免费 数学之美 74页 免费 谷歌黑板报...(英文改编版 国外电子与通信教材 系列, 美 系列 [美] Thomas L.Floyd著 余...
热门文档