2012拄河北大学学报(自然科学版)
JournalofHebeiUniversity(NaturalScienceEdition)2012第32卷第5期V01.32No.5
深度学习结构和算法比较分析
李海峰1,李纯果2
(1.河北大学教务处,河北保定071002;2.河北大学数学与计算机学院,河北保定071002)
摘要:Hinton等人提出的深度机器学习,掀起了神经网络研究的又一个浪潮.介绍了深度机器学习的基本概念和基本思想.对于目前比较成熟的深度机器学习结构深度置信网DBNs和约束Boltzmann机(RBM)的结构和无监督贪婪学习算法作了比较详细的介绍和比较,并对算法的改进方向提出了有建设性的意见,对深度机器学习的未来发展方向和目前存在的问题进行了深刻的分析.
关键词:深度机器学习;无监督贪婪学习算法;DBNs;RBMs
中图分类号:TP391文献标志码:A文章编号:1000—1565(2012)05—0538一07
Noteondeeparchitectureanddeeplearningalgorithms
LIHaifen91,LIChungu02
(1.DepartmentofAcademicAffairs,HebeiUniversity,Baoding071002,China;
2。CollegeofMathematicsandComputerScience,HebeiUniversity,Baoding071002,China)
Abstract:DeeparchitecturesproposedbyHintonetalstirupanotherstudywaveinneuralnetworks.
areThispaperintroducedtheideaandbasicconceptsindeeplearning.DBNsandRBMs
structurestheadvancedofdeeplearning,whosestructuresandeffectivelearningalgorithm
arearealsointroducedindetailSOinthispaper.Inaddition,openquestionsindeeplearningalsobrieflydisplayedthatresearchers
whoareinterestedincandevotethemselvesintothosequestionsandsolvethem.
Keywords:deeplearning;greedylearningalgorithm;DBNs;RBMs
随着电脑的普及与发展,智能化、机械化成为人们关注的热点.机器学习是仿照人类大脑工作的方式,让电脑进行计算,学习到类似于大脑的工作方式.为此,研究学者需要构建计算机能够运作的模型,例如,神经网络就是根据人类的大脑神经的激活或抑制的信号传输构建的模型[1].神经网络的基本组成单位就是神经元,神经元的构造方式完全模拟了人类大脑细胞的结构,如图1.但是,显而易见,人工神经元只是简单的结构的模拟,要想达到与生物神经元有相同的功能,还远远的不够.科研工作者就其训练的方式对其进行训练。试图让人工神经网络的运算功能尽可能的与人类接近.简单的网络已经可以进行基本的运算,甚至有2个隐含层的非线性神经网络已经能够对任意的函数进行平滑的逼近.从1943年McCulloch和Pitts提出的简单神经元开始,神经网络经历了几度兴衰.神经网络已经深入到各个领域,技术相对比较成熟,然而也很难再有收稿日期:2012—04—05
基金项目:保定市科学技术研究与发展指导计划项目(12ZG005);河北省高等学校科学研究计划项目(JYGH20110t1)第一作者:李海峰(1980一),男,河北唐县人,河北大学讲师,主要从事机器学习、教学信息化等研究.E-mail:lihf@hbu.edu.crl
21年02第3 卷第5期2 河北大学学报 ( 自然科学版 )JunlfHbiUiesy(auacneEio)ora ee nvriNtrlSic dinotet 2102Vl3o5o.2N. 深度学习结构和算法比较分析李海峰1, ...
2012拄 河北大学学报(自然科学版 )JournalofHebeiUniversity(NaturalScienceEdition) 2012 第32卷第5期 V01.32No.5 深度学习结构和算法比较分析李海峰1,李纯果2(...
201 2年第3 2卷第5期 河北大学学报 ( 自然科学版 ))JournalofHebeiUniversitNaturalScienceEdition y( 2012Vol.32No.5 深度学习结构和算法比较分析李海峰1, ...
对 于每 个 神经 元, 定义 了相 应 的接 受域 .8_,只 第 5期 李海峰等 :深度学习结构和算法 比较 分析 对 于深度 的机 器学 习, 由于 参数 变量...
201 2年第3 2卷第5期 河北大学学报 ( 自然科学版 ))JournalofHebeiUniversitNaturalScienceEdition y( 2012Vol.32No.5 深度学习结构和算法比较分析李海峰1, ...
201 2年第3 2卷第5期 河北大学学报 ( 自然科学版 ))JournalofHebeiUniversitNaturalScienceEdition y( 2012Vol.32No.5 深度学习结构和算法比较分析李海峰1, ...
从对线性结构的研究过渡到对树 树和二叉树 形结构的研究,这一章学习的好坏...图的两种遍历算法:深度遍历 广度遍历 深度遍历和广度遍历 深度遍历 广度遍历,这...
本文利用深度学习网络结构的函数表达能力, 获取具有更好分类性质的特征。除预...分析特征提取算法 809 图 5 不同数据集在 NC 分类器下的识别性能对比及估计...
数据结构与算法分析_六套期末复习题(含答案)_工学...方法所需的关键字比较次数最少,最多比较次数=999999...求二叉树的深度 试题四一、单项选择题(每小题 2 ...
《数据结构与算法分析》――课程内容体系主要内容 ...学生要发挥自主学习的能力,充分利用时间,安排好课程...要求:给出图的深度优先和广度优先遍历算法,并给出...
热门文档