文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 一种BP神经网络学习率的改进方法
侵权投诉

一种BP神经网络学习率的改进方法

BP 神经网络的具体应用

一种BP神经网络学习率的改进方法

η=Ae-λn.(1)

公式中n为网络训练过程中的迭代次数,情况不同,A和λ的取值也不同,一般1ΦAΦ50,010001ΦλΦ01001.虽然此算法优于学习率固定的传统BP算法,减少了网络训练过程中的学习次数,但同样存在着其他问题.首先,模型中A的取值范围并不适用于所有神经网络,由于它的取值决定了网络学习率的初始值,通过A确定的网络初始学习率可能使网络不收敛.其次,当网络误差下降速度快时,该算法反倒使网络收敛速度比较慢,这说明此时网络不适应这种情况.

3 改进的BP网络学习率的优化算法

上述模型主要采用在网络学习过程中,逐渐减小学习率的可变学习率法.该模型的另外一种表达形式为

η(k)=e-λη(k-1).(2)

其中010001ΦλΦ01001,k为迭代次数.不难看出,此模型中学习率的比例系数是固定的,1.但如果网络权值在实际情况中更新之后使误差值减小了,,,不仅增加了训练速度,而且修改权值的幅度会大些,η(-1)η(k-λk)k)(k)ΕE(k-1).(3)

其中0101,k.此算法认为,如果网络误差下降速度明显增快时,则说明此时的学习率比较合适,.

4 仿真实验及结果分析

利用Matlab神经网络工具箱,以函数f(x,y)=015(1+sin(2πx)cos(2πy))(0<x<1,0<y<1)为例,用改进前后两种算法分别做此函数逼近试验.网络结构为输入层2个神经元,隐含层12个神经元和输出层1个神经元.在对此二输入单输出函数进行非线性逼近过程中,本文采用400组数据作为训练样本,以相同的目标误差(errgoal=0101)进行仿真比较.在训练中,设最大迭代次数为1000,学习率初始取012,λ

一种BP神经网络学习率的改进方法

取为01001,(1)式和(3)式仿真结果如图1、图2所示,每幅图都包括目标直线和训练过程曲线.

图1 学习率优化方法收敛过程       图2 改进学习率优化方法收敛过程

 

从仿真结果图1和图2明显看出,未改进算法训练次数比改进算法多了3倍以上.在训练过程中,当网络误差处于下降状态,尤其下降趋势明显时,我们再减小学习率会影响网络的收敛速度,此时应保持不变学习率以较大幅度修改权值.由此可见改进算法比没经过改进的算法收敛速度更快,这说明了改进算法对误差梯度曲面发生变化的区域更为敏感,能更好地达到学习目的.另外,笔者用两种算法都各进行了多次训练,仿真结果如 26

上一页第2页

你可能喜欢

  • BP神经网络算法
  • BP神经网络原理
  • 神经网络论文
  • 算法分析
  • 动态BP神经网络
  • BP神经网络控制器

热门文档

相关文档

  • 【论文】BP神经网络学习率参数改进方法

    BP神经网络学习率参数改进方法_专业资料。针对动态BP神经网络学习率优化方法收敛速度慢而且对误差曲面变化不敏感等不利因素,本文提出了一种改进的BP神经网络学习率的...

  • BP神经网络学习率参数改进方法

    2010 BP 神经网络学习率参数改进方法陈 思 150080) ( 哈尔滨理工大学自动化学院, 黑龙江哈尔滨 [摘 要] 针对动态 BP 神经网络学习率优化方法收 敛速度慢而 且...

  • 一种改进的可变学习速率的BP神经网络算法

    一种改进的可变学习速率的BP神经网络算法_自然科学_专业资料。一种改进的可变学习速率的BP神经网络算法第38 卷第 3 期 2008 年 5 月 河南大学学报(自然科学版)...

  • 【论文】一种BP神经网络学习率的优化设计

    在大量智能计算的基础上,提出了一种动态BP神经网络的学习率优化方法,该方法如同Rough集理论的数据分类简约功能去掉了多余属性的样本数据一样,从而使神经网络拓扑结构...

  • 一种BP神经网络学习率的优化设计

    一种BP神经网络学习率的优化设计_专业资料。一种BP神经网络学习率的优化设计第...4 计算机仿真利用 B P 网络函数逼近的功能对 B P 网络及两 种改进算法的...

  • 一种BP神经网络的学习算法及其改进[1]

    一种bp神经网络的学习算法一种bp神经网络的学习算法隐藏>> 第 卷第 期 重 庆 通 信 学 院 学工 报刁 年 月 一种 神经 网络的学习算法及其改进曹 龙汉、...

  • 【论文】BP神经网络学习率的优化方法

    BP神经网络学习率的优化方法_专业资料。本文针对动态BP神经网络学习率优化方法收敛速度慢而且对误差曲面变化不敏感等不利因素,提出了一种改进的BP神经网络学习率的优...

  • 一种改进的BP神经网络学习算法及其应用

    一种改进的BP神经网络学习算法及其应用一种改进的BP神经网络学习算法及其应用隐藏>> 分享到: X 分享到: 使用一键分享,轻松赚取财富值, 了解详情 嵌入播放器:...

  • BP神经网络学习算法的改进及其应用

    2003 BP 神经网络学习算法的改进及其应用吴凌云 ( 江汉石油学院电子信息工程系 , 荆州 434102) 0 引言 科 ,它具有很强的自适应 、 自学习功能 。其中 BP 网...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email