深度学习结构和算法比较分析

２０１２年

第３２卷　第５期河北大学学报（自然科学版））ＪｏｕｒｎａｌｏｆＨｅｂｅｉＵｎｉｖｅｒｓｉｔＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ　　　　　ｙ（２０１２Ｖｏｌ．３２Ｎｏ．５

深度学习结构和算法比较分析

李海峰１，李纯果２

（）河北大学教务处，河北保定　０河北大学数学与计算机学院，河北保定　０１．７１００２；２．７１００２

掀起了神经网络研究的又一个浪潮．介绍了深度机器学习的Ｈｉｎｔｏｎ等人提出的深度机器学习，　　摘　要：

基本概念和基本思想．对于目前比较成熟的深度机器学习结构深度置信网ＤＢＮｓ和约束Ｂｏｌｔｚｍａｎｎ机（的结构和无监督贪婪学习算法作了比较详细的介绍和比较，并对算法的改进方向提出了有建设性的ＲＢＭ）

意见，对深度机器学习的未来发展方向和目前存在的问题进行了深刻的分析．

；关键词：深度机器学习；无监督贪婪学习算法；ＤＢＮｓＲＢＭｓ

（）中图分类号：ＴＰ３９１　　　文献标志码：Ａ　　　文章编号：１０００１５６５２０１２０５０５３８０７－－－

Ｎｏｔｅｏｎｄｅｅａｒｃｈｉｔｅｃｔｕｒｅａｎｄｄｅｅｌｅａｒｎｉｎａｌｏｒｉｔｈｍｓ　　　　ｐｐｇｇ　　　

１２ＬＩＨａｉｆｅｎＬＩＣｈｕｎｕｏ　　ｇ，ｇ

（，Ｈ，；１．ＤｅａｒｔｍｅｎｔｏｆＡｃａｄｅｍｉｃＡｆｆａｉｒｓｅｂｅｉＵｎｉｖｅｒｓｉｔＢａｏｄｉｎ０７１００２，Ｃｈｉｎａ　　　　ｐｙｇ　

，Ｈ，）２．ＣｏｌｌｅｅｏｆＭａｔｈｅｍａｔｉｃｓａｎｄＣｏｍｕｔｅｒＳｃｉｅｎｃｅｅｂｅｉＵｎｉｖｅｒｓｉｔＢａｏｄｉｎ０７１００２，Ｃｈｉｎａ　　　　　　ｇｐｙｇ　

：ｂｓｔｒａｃｔＤｅｅａｒｃｈｉｔｅｃｔｕｒｅｓｒｏｏｓｅｄｂＨｉｎｔｏｎｅｔａｌｓｔｉｒｕａｎｏｔｈｅｒｓｔｕｄｗａｖｅｉｎｎｅｕｒａｌｎｅｔｗｏｒｋｓ．　　Ａ　　　　　　　　　　ｐｐｐｙｐｙ　　　　

Ｔｈｉｓａｅｒｉｎｔｒｏｄｕｃｅｄｔｈｅｉｄｅａａｎｄｂａｓｉｃｃｏｎｃｅｔｓｉｎｄｅｅｌｅａｒｎｉｎ．ＤＢＮｓａｎｄＲＢＭｓａｒｅｔｈｅａｄｖａｎｃｅｄ　　　　　　　　　　　　　　ｐｐｐｐｇ　

，ｓｔｒｕｃｔｕｒｅｓｏｆｄｅｅｌｅａｒｎｉｎｗｈｏｓｅｓｔｒｕｃｔｕｒｅｓａｎｄｅｆｆｅｃｔｉｖｅｌｅａｒｎｉｎａｌｏｒｉｔｈｍａｒｅａｌｓｏｉｎｔｒｏｄｕｃｅｄｉｎｄｅｔａｉｌ　　　　　　　　　　　ｐｇｇｇ　　

，ｔｈｉｓａｅｒ．Ｉｎａｄｄｉｔｉｏｎｏｅｎｕｅｓｔｉｏｎｓｉｎｄｅｅｌｅａｒｎｉｎａｒｅａｌｓｏｂｒｉｅｆｌｄｉｓｌａｅｄｓｏｔｈａｔｒｅｓｅａｒｃｈｅｒｓｉｎ　　　　　　　　　　　ｐｐｐｑｐｇｙｐｙ　　　

ｗｈｏａｒｅｉｎｔｅｒｅｓｔｅｄｉｎｃａｎｄｅｖｏｔｅｔｈｅｍｓｅｌｖｅｓｉｎｔｏｔｈｏｓｅｕｅｓｔｉｏｎｓａｎｄｓｏｌｖｅｔｈｅｍ．　　　　　　　　　　　　ｑ

：；；Ｋｅｗｏｒｄｓｄｅｅｌｅａｒｎｉｎｒｅｅｄｌｅａｒｎｉｎａｌｏｒｉｔｈｍ；ＤＢＮｓＲＢＭｓｐｇｇｙｇｇｙ　　　　

智能化、机械化成为人们关注的热点．机器学习是仿照人类大脑工作的方式，让　　随着电脑的普及与发展，

学习到类似于大脑的工作方式．为此，研究学者需要构建计算机能够运作的模型，例如，神经电脑进行计算，

１］网络就是根据人类的大脑神经的激活或抑制的信号传输构建的模型［神经网络的基本组成单位就是神经．

元，神经元的构造方式完全模拟了人类大脑细胞的结构，如图１．但是，显而易见，人工神经元只是简单的结构的模拟，要想达到与生物神经元有相同的功能，还远远的不够．科研工作者就其训练的方式对其进行训练，试图让人工神经网络的运算功能尽可能的与人类接近．简单的网络已经可以进行基本的运算，甚至有２个隐含层的非线性神经网络已经能够对任意的函数进行平滑的逼近．从１９４３年ＭｃＣｕｌｌｏｃｈ和Ｐｉｔｔｓ提出的简单神经元开始，神经网络经历了几度兴衰．神经网络已经深入到各个领域，技术相对比较成熟，然而也很难再有

２０１２０４０５　收稿日期：－－

）；）保定市科学技术研究与发展指导计划项目（河北省高等学校科学研究计划项目（１２ＺＧ００５ＪＹＧＨ２０１１０１１　基金项目：

，李海峰（男，河北唐县人，河北大学讲师，主要从事机器学习、教学信息化等研究．１９８０　第一作者：－）

：Ｅ－ｍａｉｌｌｉｈｆｂｕ．ｅｄｕ．ｃｎ＠ｈ