在很多涉及到自然语言处理的领域,如机器翻译、语音识别、印刷体或手写体识别、拼写纠错、汉字输入和文献查询中,我们都需要知道一个文字序列是否能构成一个大家能理解的句子,显示给使用者。对这个问题,我们可以用一个简单的统计模型来解决这个问题。
前言
也许大家不相信,数学是解决信息检索和自然语言处理的最好工具。它能非常清晰地描述这些领域的实际问题并且给出漂亮的解决办 法。每当人们应用数学工具解决一个语言问题时,总会感叹数学之美。我们希望利用 Google 中文黑板报这块园地,介绍一些数学工具,以及我们是如何利用这些工具来开发 Google 产品的。
系列一: 统计语言模型 (Statistical Language Models)
Google 的使命是整合全球的信息,所以我们一直致力于研究如何让机器对信息、语言做最好的理解和处理。长期以来,人类一直梦想着能让机器代替人来翻译语言、识别语 音、认识文字(不论是印刷体或手写体)和进行海量文献的自动检索,这就需要让机器理解语言。但是人类的语言可以说是信息里最复杂最动态的一部分。为了解决 这个问题,人们容易想到的办法就是让机器模拟人类进行学习 - 学习人类的语法、分析语句等等。尤其是在乔姆斯基(Noam Chomsky 有史以来最伟大的语言学家)提出 “形式语言” 以后,人们更坚定了利用语法规则的办法进行文字处理的信念。遗憾的是,几十年过去了,在计算机处理语言领域,基于这个语法规则的方法几乎毫无突破。
其实早在几十年前,数学家兼信息论的祖师爷 香农 (Claude Shannon)就提出了用数学的办法处理自然语言的想法。遗憾的是当时的计算机条件根本无法满足大量信息处理的需要,所以他这个想法当时并没有被人们重视。七十年代初,有了大规模集成电路的快速计算机后,香农的梦想才得以实现。
首先成功利用数学方法解决自然语言处理问题的是语音和语言处理大师贾里尼克 (Fred Jelinek)。当时贾里尼克在 IBM 公司做学术休假 (Sabbatical Leave),领导了一批杰出的科学家利用大型计算机来处理人类语言问题。统计语言模型就是在那个时候提出的。
给大家举个例子:在很多涉及到自然语言处理的领域,如机器翻译、语音识别、印刷体或手写体识别、拼写纠错、汉字输入和文献查询中,我们都需要知道一个文字序列是否能构成一个大家能理解的句子,显示给使用者。对这个问题,我们可以用一个简单的统计模型来解决这个问题。
如 果 S 表示一连串特定顺序排列的词 w1, w2,…, wn ,换句话说,S 可以表示某一个由一连串特定顺序排练的词而组成的一个有意义的句子。现在,机器对语言的识别从某种角度来说,就是想知道S在文本中出现的可能性,也就是数 学上所说的S 的概率用 P(S) 来表示。利用条件概率的公式,S 这个序列出
科学家吴军写的《数学之美》 Google 科学家吴军写的《数学之美》系列 文章 数学之美 系列一 -- 统计语言模型 2006 年 4 月 3 日 上午 08:15:00 从本...
科学家吴军写的《数学之美》 Google 科学家吴军写的《数学之美》系列文章数学之美 系列一 -- 统计语言模型 2006 年 4 月 3 日 上午 08:15:00 从本周...
2006 年 8 月 9 日 上午 09:12:00 发表者:吴军,Google 研究员 [注:一直关注数学之美系列的读者可能已经发现,我们对任何问题总是在找相应的准确的 数学模型...
十四、谈谈数学模型的重要性 2006 年8 月9 日上午 09:12:00 发表 者:吴军,Google 研究员 [注:一直关注数学之美系列的读者可能已经发现,我们对任何问题总是...
Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美 系列十 有限状态机和地址识别 2006 年 7 月 5 日 上午 09:09:00 发表者:吴军,Google...
Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美系列六 --...吴军,Google 研究员 [离散数学是当代数学的一个重要分支,也是计算机科学的数学...
Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美 系列二十 ...吴军 我 们在前面的系列中介绍和提到了一些年轻有为的科学家,迈克尔·柯林斯,...
数学之美 7页 免费 数学之美系列完整版 48页 1财富值 数学之美 系列十四 3页 免费 数学之美 Google 吴军 39页 1财富值 数学之美 系列十 2页 免费...
Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美 系列八--...Google 研究员,吴军 读 者也许注意到了,我们在前面的系列中多次提到了贾里尼克...
Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 数学之美 系列三 -...吴军,Google 研究员 前言:隐含马尔可夫模型是一个数学模型,到目前为之,它一直...
热门文档