深度学习与认知计算

度学习 ( Deep Learning ) 是当下很热的话题,笔者在大学课堂上介绍沃森是不止一次地被问到深度问答 ( DeepQA,沃森的架构技术) 是否也采用了深度学习的方法。笔者的回答可能令一部分听众失望,简单的回答是没有直接用到。借今天这个机会,笔者希望谈一谈深度学习与沃森,或者更大一点的题目认知计算之间的关系。

深度学习与认知计算

(2013-06-17 12:29:53)

(作者：潘越，蒋丹宁； 原文发表在《程序员》杂志2013年6月刊)

深度学习 ( Deep Learning ) 是当下很热的话题，笔者在大学课堂上介绍沃森是不止一次地被问到深度问答 ( Deep QA，沃森的架构技术) 是否也采用了深度学习的方法。笔者的回答可能令一部分听众失望，简单的回答是没有直接用到。借今天这个机会，笔者希望谈一谈深度学习与沃森，或者更大一点的题目认知计算之间的关系。

1. 沃森有没有用到深度学习

如果说得细一点的话，沃森的确利用了一些技术来解决如迁移学习 (Transfer Learning) 等问题。 虽然迁移学习等恰恰也是深度学习技术所胜出的地方，但沃森中的迁移学习并没有特别用后者的方法求解。 沃森的主体思路并非深度学习，而是更接近心智社会（Society of Mind）。

心智社会是人工智能的先驱之一Marvin Minsky首先提出的，其理论是：人类心智活动和任何自然进化出的感知系统是由无数“碌碌众生”式的智能体所完成的单独简单进程组合成的大社会，通过高度关联的互动机制中，涌现出各种心智现象。他说到“有什么神奇的绝招使我们看起来具备智能？绝招就是: 无招胜有招。智慧的力量源于从我们广阔的多样性，而不是从任何单一、完美的原理导出。”[1]。拆开来看，每种反应都只有很简单，像个低能儿，但通过错综复杂的层累控制，以许多不同的搭配组合有机结合起来，就能创造高难度的思维活动。

沃森正是这样一个系统，它集成了上百种算法从不同的维度分析备选假设的证据，如类型、时间、空间、流行度、段落支持度、来源可靠度、语义相关度等。每种分析都产生一些特征或评分，反映了在相应的维度上证据对备选答案的支持程度。如果在最终系统中去掉任何单个评分器，在上千个问题的测试集上都不会造成显著的影响，实际上没有一个评分器产生的影响超过1%。但组合起来，沃森在回答40%-70%的问题时，达到了92%的平均精度。

[2]

沃森中运用了迁移学习的方法来处理特别、罕见的问题类型，以及从问题和证据中学习关系主题模型进行统计关系检测[11, 12]。这些问题类型或关系主题往往缺乏足够的标注数据用于训练得到适当的模型，但是存在其它问题类型或部分关系主题的标注数据和被证明有效的特征，迁移学习提供了方法对后者加以利用。统计关系检测的方法应用于备选答案生成和证据评分时，取得了一定的效果。