BP 神经网络的具体应用


第29卷第4期
Vol129 No14长春师范学院学报(自然科学版)JournalofChangchunNormalUniversity(NaturalScience)2010年8月Aug.2010
一种BP神经网络学习率的改进方法
陈 思
(长春师范学院计算机科学与技术学院,吉林长春 130032)
[摘 要]针对动态BP神经网络学习率优化方法收敛速度慢而且对误差曲面变化不敏感等不利因素,
提出了一种改进的BP神经网络学习率的优化算法。的调整方向,尤其网络误差处于下降状态时,不需调整。度快。最后,。
[关键词]BP神经网络;学习率;收敛速度
[中图分类号]TP389 []A(2010)04-0025-03
0 引言
近几年来人工神经网络技术在很多领域都得到广泛应用,尤其是Rumelhart[1]等人提出的BP算法已经成为训练前馈网络的有力工具.但传统的BP算法存在缺陷,首先使网络达不到全局最优,其次收敛时间长,速度慢[2],因此现在很多学者主要研究对BP算法的改进.在人工神经网络训练中,学习率是影响训练速度和训练精度的重要因素之一.如果学习率太小,收敛性容易得到保证,但收敛速度太慢;学习率太大,学习速度快,但可能导致振荡或发散[3].针对这个问题,笔者以前人的研究理论为基础,提出了一种BP神经网络的优化算法,该算法能有效地改善网络的学习率.
1 BP神经网络
BP神经网络是一种通用性较强的前馈网络,它主要采用模式正向传递、误差信号反向传播的BP算法,实现输入到输出的映射,并且是非线性的,具有结构简单、可操作性强等优点,目前已被广泛应用.其算法主要思想如下[4]:
网络训练过程即为学习过程,首先信号作用于输入层,由输入层进入隐含层,并且向输出层传递,这就是模式顺传播.如果输出信号不满足期望值,则将实际输出与期望输出的误差信号沿着逆向逐层返回,这个过程就是误差反向传播阶段,并且以此作为修改各层网络权值的依据.这种学习训练过程一直进行到网络输出误差达到预先设定的误差精度要求为止.
2 网络学习率的优化方法
BP算法是通过不断调整网络权值进行学习的,修正量的大小受到学习率的控制,对学习率的改进是BP算法改进的重要部分.为加速网络的学习速度,文献[5]提出了一种优化BP神经网络学习率的方法,其具体优化公式为
[收稿日期]2010-04-11
[作者简介]陈 思(1977-),女,吉林长春人,长春师范学院计算机科学与技术学院讲师,从事图像处理研究。
25
BP神经网络学习率参数改进方法_专业资料。针对动态BP神经网络学习率优化方法收敛速度慢而且对误差曲面变化不敏感等不利因素,本文提出了一种改进的BP神经网络学习率的...
2010 BP 神经网络学习率参数改进方法陈 思 150080) ( 哈尔滨理工大学自动化学院, 黑龙江哈尔滨 [摘 要] 针对动态 BP 神经网络学习率优化方法收 敛速度慢而 且...
一种改进的可变学习速率的BP神经网络算法_自然科学_专业资料。一种改进的可变学习速率的BP神经网络算法第38 卷第 3 期 2008 年 5 月 河南大学学报(自然科学版)...
在大量智能计算的基础上,提出了一种动态BP神经网络的学习率优化方法,该方法如同Rough集理论的数据分类简约功能去掉了多余属性的样本数据一样,从而使神经网络拓扑结构...
一种BP神经网络学习率的优化设计_专业资料。一种BP神经网络学习率的优化设计第...4 计算机仿真利用 B P 网络函数逼近的功能对 B P 网络及两 种改进算法的...
一种bp神经网络的学习算法一种bp神经网络的学习算法隐藏>> 第 卷第 期 重 庆 通 信 学 院 学工 报刁 年 月 一种 神经 网络的学习算法及其改进曹 龙汉、...
BP神经网络学习率的优化方法_专业资料。本文针对动态BP神经网络学习率优化方法收敛速度慢而且对误差曲面变化不敏感等不利因素,提出了一种改进的BP神经网络学习率的优...
一种改进的BP神经网络学习算法及其应用一种改进的BP神经网络学习算法及其应用隐藏>> 分享到: X 分享到: 使用一键分享,轻松赚取财富值, 了解详情 嵌入播放器:...
2003 BP 神经网络学习算法的改进及其应用吴凌云 ( 江汉石油学院电子信息工程系 , 荆州 434102) 0 引言 科 ,它具有很强的自适应 、 自学习功能 。其中 BP 网...
热门文档