文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 自然科学 > 数学 > 深度学习结构和算法比较分析
侵权投诉

深度学习结构和算法比较分析

河北大学学报(自然科学版)第32卷

1.2深度学习的动机

从早期的神经网络的学习,到现在的深度学习,究其机制,都是从模拟大脑的构架并辅以一定的学习算法,从而使计算机的工作方式尽可能地接近人类的工作方式.机器学习从仅有2层左右的学习构架,要向有多层的结构发展,不仅有生物神经元的启示,也是对现有的机器学习结构的弊端的改进.

首先,人类大脑的神经元系统是一个庞大的结构,由无数个神经元共同组成,完成一定的生理功能.例如,从视网膜到处理视网膜的大脑区域,需要经过无数层的神经元层层传递视觉信息,最终到达大脑的视觉处理区域,然后再经过信息处理,把信息反馈到肌肉神经,或语言区域.这个过程在生物神经元系统只不过是瞬间的事情,但是,完成这个过程,是由已经训练好的神经系统完成的,神经系统对整个过程的处理,与从出生到成人的认知过程是分不开的.而这一切,要用电脑来完成,不是构造简单的人工神经元就能够完成的,需要大规模的神经元组织和链接,并经过来自于外界信息的不断强化和训练.故从结构上,神经网络结构要加深.

其次,如果神经网络的层次不够深,那么,多项式级的参数个数能解决的问题就有可能需要指数级的参数个数.例如,要计算Ⅱ:一,己:‘-。口¨计算方式不同,计算复杂度会有很大的不同.如果计算和的积,计算复杂度为0(ran);如果计算积的和,计算复杂度为0(卵”).参数多的结构不仅训练复杂,训练时间长,而且泛化性能也很差,也容易产生过拟合问题.

再次,有很多学习结构的学习算法使得到的学习器是局部估计算子.例如,由核方法构造的学习器,厂(z)一6+2/?;.口iK(z,z。),是由对模板的匹配度加权构成.对于这样的问题,往往要求被拟合函数都是平滑的,如果不平滑,该学习器就不能很好地拟合数据.而在实际应用中的很多例子,往往不满足平滑这个条件,或者对于被拟合函数一无所知.此时,模板匹配方法就不再可行.

最后,深度机器学习是数据分布式表示的必然结果口].分布式表示系统是由一组信息计算单元共同完成的,每一个概念都由不止1个信息计算单元表示,而每一个信息计算单元也参与计算不止1个概念口].例如,

,1.f—i

表示整数i(i一1,2,…,N),有2种表示方式,~种用1个N维向量r(i)表示,r,(i)一J一。i,.,另一种表示!o,J≠i

方式是用log。N维的向量表示,表示方式类似于二进制.显然,后一种表示方式更紧凑,这种表示方式就是分布式表示.分布式表示不仅可以很好地描述概念间的相似性,而且合适的分布式表示在有限的数据下能体现出更好的泛化性能.人类的认知活动包括理解昶处理接受到的信息,这些信息的结构通常很复杂,因此,有必要构造深度结构的学习机器去实现一些人类的认知活动.

由于其自身的复杂性,深度学习算法很多年都没有新的进展.就监督的多层神经网络来说,无论是测试精度还是训练精度,深度学习的结果远远不如有1个或2个隐含层的神经网络的结果.直到2006年,Hinton等人提出了贪婪无监督逐层学习算法H],深度学习的问题才有所突破.

2深度学习的方法

同机器学习方法一样,深度机器学习方法也有监督学习与无监督学习之分.不同的学习框架下建立的学习模型很是不同.例如,卷积神经网络(Convolutional

机器学习模型,而深度置信网(Deep

2.1卷积神经网络Beliefneuralnetworks,简称CNNs)就是一种深度的监督学习下的Nets,简称DBNs)就是一种无监督学习下的机器学习模型.

20世纪60年代,Hubel和Wiesel在研究猫脑皮层时,发现了一种独特的神经网络结构,可以有效地降低反馈神经网络的复杂性,进而提出了卷积神经网络口].现在,卷积神经网络已经发展成一种高效的图像识别方法‘6|.

卷积神经网络的基本结构如图4所示.卷积神经网络是一种非全连接的神经网络结构,包含2种特殊的结构层:卷积层和次抽样层.卷积层由多个特征平面构成,完成抽取特征的任务.每个特征平面由神经元构成,在同一个特征平面上的所有神经元具有相同的连接权重.对于每个神经元,定义了相应的接受域口剖,只

上一页第3页

你可能喜欢

热门文档

相关文档

  • 深度学习结构和算法比较分析_李海峰

    21年02第3 卷第5期2 河北大学学报 ( 自然科学版 )JunlfHbiUiesy(auacneEio)ora ee nvriNtrlSic dinotet 2102Vl3o5o.2N. 深度学习结构和算法比较分析李海峰1, ...

  • 深度学习结构和算法比较分析

    2012拄 河北大学学报(自然科学版 )JournalofHebeiUniversity(NaturalScienceEdition) 2012 第32卷第5期 V01.32No.5 深度学习结构和算法比较分析李海峰1,李纯果2(...

  • 深度学习结构和算法比较分析

    201 2年第3 2卷第5期 河北大学学报 ( 自然科学版 ))JournalofHebeiUniversitNaturalScienceEdition y( 2012Vol.32No.5 深度学习结构和算法比较分析李海峰1, ...

  • 深度学习结构和算法比较分析

    对 于每 个 神经 元, 定义 了相 应 的接 受域 .8_,只 第 5期 李海峰等 :深度学习结构和算法 比较 分析 对 于深度 的机 器学 习, 由于 参数 变量...

  • 深度学习结构和算法比较分析_李海峰

    201 2年第3 2卷第5期 河北大学学报 ( 自然科学版 ))JournalofHebeiUniversitNaturalScienceEdition y( 2012Vol.32No.5 深度学习结构和算法比较分析李海峰1, ...

  • 1 [2012_河北大学学报]深度学习结构和算法比较分析

    201 2年第3 2卷第5期 河北大学学报 ( 自然科学版 ))JournalofHebeiUniversitNaturalScienceEdition y( 2012Vol.32No.5 深度学习结构和算法比较分析李海峰1, ...

  • 数据结构与算法分析复习

    从对线性结构的研究过渡到对树 树和二叉树 形结构的研究,这一章学习的好坏...图的两种遍历算法:深度遍历 广度遍历 深度遍历和广度遍历 深度遍历 广度遍历,这...

  • 基于深度学习的边际Fisher分析特征提取算法_孙志军

    本文利用深度学习网络结构的函数表达能力, 获取具有更好分类性质的特征。除预...分析特征提取算法 809 图 5 不同数据集在 NC 分类器下的识别性能对比及估计...

  • 数据结构与算法分析_六套期末复习题(含答案)

    数据结构与算法分析_六套期末复习题(含答案)_工学...方法所需的关键字比较次数最少,最多比较次数=999999...求二叉树的深度 试题四一、单项选择题(每小题 2 ...

  • 《数据结构与算法分析》

    《数据结构与算法分析》――课程内容体系主要内容 ...学生要发挥自主学习的能力,充分利用时间,安排好课程...要求:给出图的深度优先和广度优先遍历算法,并给出...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email