BP神经网络算法
№.2 陕西科技大学学报 Apr.2004Vol.22 JOURNALOFSHAANXIUNIVERSITYOFSCIENCE&TECHNOLOGY 45
Ξ
文章编号:1000-5811(2004)02-0045-03
BP神经网络算法的改进及在Matlab中的实现
陈桦,程云艳
(陕西科技大学计算机与信息工程学院,陕西咸阳 712081)
摘 要:分析了BP神经网络算法收敛速度慢的原因,研究了一种提高其收敛速度的方法,即
将动量法和批处理方法结合起来对BP算法进行改进,提高学习速度,并给出了算法思想,用Matlab神经网络工具箱对神经网络进行了初始化和训练,仿真测试结果证明该方法是可行,具有实用性。
关键词:BP神经网络;Matlab神经网络工具箱;动量法;批处理方法中图分类号:TP183 文献标识码:A
0 引言
BP算法(Back2),是能实现映射变换的前,。但标准BP算法存在一些缺陷:易形成局部,收敛速度慢。前人已提出了不少改进方法,本文基于Vogl提出的“批处理”思想,给出了带动量的批处理梯度下降算法,并用Matlab
神经网络工具箱进行了设计分析及仿真。1 BP算法的改进
1.1 BP算法收敛速度慢的原因
(1)BP算法中网络参数每次调节的幅度均以一个与网络误差函数或其对权值导数大小成正比的固定因子η进行。这样,在误差曲面较平坦处,由于这一偏导数值较小,因而权值参数的调节幅度也较小,以致于需要经过多次调整才能将误差函数曲面降低;而在误差曲面较高曲率处,偏导数较大,权值参数调节的幅度也较大,以致在误差函数最小点附近发生过冲现象,使权值调节路径变为锯齿形,难以收敛到最小点,导致BP算法收敛速度慢。
(2)BP算法中权值参数的调节是沿误差函数梯度下降方向进行的,但由于网络误差函数矩阵的严重病态性,使这一梯度最速下降方向偏离面向误差曲面的最小点方向,从而急剧加长了权值参数到最小点的
2〕
搜索路径,自然大大增加了BP算法的学习时间,这也造成了BP算法收敛速度慢〔。1.2 带动量的批处理梯度下降算法
针对BP算法收敛速度慢的缺点,作者提出了带动量的批处理梯度下降的思想,即每一个输入样本对网络并不立即产生作用,而是等到全部输入样本到齐,将全部误差求和累加,再集中修改权值一次,即根据
k
总误差E=
修正权值,以提高收敛速度。在调整权值时加入动量项,降低网络对于误差曲面局部细
α
节的敏感性,有效抑制网络限于局部极小,此时,ΔWij(t+1)=η+ΔWij(t),α为动量系数,加入
Wij
的动量项相当于阻尼项,以减小学习过程的振荡趋势,从而改善收敛性。下面介绍其算法:
(1)初始化权值和阀值;
(2)给定输入x和目标输出y;(3)计算实际输出y:
k
∑E
Ξ收稿日期:2003-11-03
作者简介:陈桦(1962-),男,上海市人,教授,研究方向:CAD/CAM,CSCW
BP神经网络算法的改进及在MATLAB中的实现(1)_二年级数学_数学_小学教育_教育专区。数学建模中的十大方法论之一维普资讯 http://www.cqvip.com NQ.2 陕西科技...
即 将动量法和批处理方法结合起来对 BP 算法进行改进, 提高学习速度, 并给出了算法思想, 用 Matlab 神经网络工具箱对神经网络进行了初始化和训练, 仿真测试结果...
(080—02—0 1031920)1084 基于MATLAB的改进BP神经网络的实现与比较 周黄 斌,... 的优势与不足,B且研 以能 在不同对象下选取 合适 的神 经 网络 算法 。...
BP神经网络的改进和MATLAB实现_教学研究_教育专区。改进BP神经网络与MATLAB实现 ...拟牛顿算法 traingdx trainrp traincgf traincgp traincgb trainscg trainbfg 一步...
基于MATLAB的改进BP神经网络的实现与比较周黄斌,周永华,朱丽娟(广西大学电气工程学院.广西南宁530004) 摘要:BP神经网络应用广泛.且算法很多,研究多种神经网络的优势与...
存在的缺陷 , 本文给出了基于 M ATLAB 语言的 BP 神经网络几种改进的 算法....在MATLAB 工具箱中附加动量法是通过训练 函数 traingdm. m 来实现 的, 其参 ...
基于MATLAB的改进BP神经网络的实现与比较周黄斌,周永华,朱丽娟(广西大学电气工程学院.广西南宁530004) 摘要:BP神经网络应用广泛.且算法很多,研究多种神经网络的优势与...
论基于MATLAB语言的BP神经网络的改进算法_数学_自然科学_专业资料。VoI. 19 ...程远楚 MATLAB7.0中改进BP网络的实现[期刊论文]-电脑开发与应用 2005(7) 38...
BP 算法的改进在 Matlab 的实现研究 摘要:利用 Matlab 中的神经网络工具箱提供的丰富网络学习和训练函数,对 BP 网络和 BP 算 法的优化方案进行仿真,得到较优...
热门文档