核心思想:将输出误差以某种形式通过隐层向输入层逐层反传。
学习的过程:由信号的正向传播到误差的反向传播。——输入层———各隐层———输出正向传播:输入样本—层。
判断是否转入反向传播阶段:若输出层的实际输出与教师信号)不符。期望的输出(
——修正各层误差反传误差以某种形式在各层表示—单元的权值。
网络结构:输入层有n个神经元,隐含层有p个神经元,输出层有q个神经元。
变量定义:
…,输入向量:x=(xxx1,2,n)
…,)隐含层输入向量:hi=(hihihi1,2,p…,)隐含层输出向量:ho=(hohoho1,2,p…,)输出层输入向量:i=(iiiyyyy1,2,q…,)输出层输出向量:o=(oooyyyy1,2,q
…,)期望输出向量:ddddo=(1,2,q输入层与中间层的连接权值:wih隐含层与输出层的连接权值:who隐含层各神经元的阈值:bh输出层各神经元的阈值:bo…m样本数据个数:k=1,2,
)·激活函数:f(
2
)误差函数:e=∑(dk)k)o-yo(o(
2o=1
第一步,网络初始化:给各连接权值分别赋一个区间(),内的随机数,设定误差函数e给定计算精度值ε-1,1
和最大学习次数M。
第二步,随机选取第k个输入样本及对应期望输出:
,,…,)x(k)=(xk)xk)xk)1(2(n(
,,…,())dk)=(dk)dk)do(1(2(qk
计算隐含层各神经元的输入和输出: 第三步,
n
q
)()dk)ok)'ik)k)=-(-y-δfyo(o(o(o(
利用隐含层到输出层的连接权值、输出层的 第五步,
和隐含层的输出计算误差函数对隐含层各神经元的k)δo(
:偏导数δk)h(
iok)hok)==-δo(h(
iwhwhyooo
hik)h(=wihikwihhh
n
hik)h(=wih
wxk)-b(ihi(h)∑i=1
k)=xi(
wih
q
2
))odk)k)-y∑(o(o(
2hok)eh(o=1=
hikhokhikhhh12
)))dk)k)i-f(∑(yo(o(
2o=1hok)h(=
hokhikhh2
()dk)whhok)-f(-b∑(o(oh(o))∑2o=1hok)h(h=1
=
hokhikhhq
p
q
hok)h())dk)ok)′(ik)wh=-∑(-yfyo(o(o(o
hikho=1
q
q
)k)wh′(hik)k)=-(-δfo(o)h(h(∑δ
o=1
利用输出层各神经元的δk)和隐含层各神 第六步,o(
经元的输出来修正连接权值whk):o(
k)=-μk)hok)=μ△whδo(o(h(
who
N+1Nwhk)hok)=whδoo(h(o+η
利用隐含层各神经元的δk)和输入层各神 第七步,h(
经元的输入修正连接权:
hik)h(k)=-μk)xk)=-μ=δ△wih(h(i(
wihik)wihh(hN+1Nwk)xk)=wδihh(i(ih+η计算全局误差: 第八步,
12
()E=dk)k)-yo(o(∑∑2mk=1o=1
判断网络误差是否满足要求。当误差达到预 第九步,
则结束算法。否设精度或学习次数大于设定的最大次数,
则,选取下一个学习样本及对应的期望输出,返回到第三进入下一轮学习。步,
m
q
hik)=h(
…,xk)h=1,2,-bphi(h ∑wi
i=1
)…,k)=f(hik)2,ho h=1,ph(h(
k)=iyo(
…,o(k)o=1,2,-b q∑h=1h
ho
h
o
)…,ok)=f(ik)o=1,2, yyqo(o(
利用网络期望输出和实际输出,计算误差函 第四步,
:数对输出层的各神经元的偏导数δk)o(
io=whiwhyooo
p
3 基于BP神经网络逼近函数
步骤1:假设频率参数k=1,绘制要逼近的非线性函数的曲线:
k=1;
];=[-1:.05:8p
(/);t=1+sinki4*p*p
(,,);lott'-'pp();要逼近的非线性函数title''
ik)o(
=who
whhok)-b(oh(o)∑h
ok)=hh(
who
q
2
))dk)ok)-y∑(o(o(
2o=1e=iiyyoo
)dk)ok)o'k)=-(-yyo(o(o(
B 神经网络模型与学习算法 P樊振宇( 宝鸡文理学院 现代教育技术中心, 陕西 宝鸡 710)207摘 要: 分析了神经网络算法的基本原理, 给出了 B神经网络算法的具体实现...
2.4 BP神经网络模型与学习算法 智能中国网提供学习支持 www.5iai.com 概述 ?Rumelhart,McClelland于1985年提出了BP网络的误差反 向后传BP (Back Propagation)学习...
BP神经网络matlab教程之BP神经网络模型与学习算法_电力/水利_工程科技_专业资料。2.4 BP神经网络模型与学习算法 智能中国网提供学习支持 www.5iai.com 概述 ?...
BP神经网络模型与学习算法-最好的版本_数学_自然科学_专业资料。BP神经网络模型与学习算法 概述 ?Rumelhart,McClelland于1985年提出了BP网络的误差反 向后传BP(...
BP 神经网络模型与学习算法樊振宇( ) 宝鸡文理学院 现代教育技术中心 , 陕西 宝鸡 721007摘要: 分析了神经网络算法的基本原理 , 给出了 B总结了它的特点, 并...
BP神经网络模型与学习算法_数学_自然科学_专业资料。BP 神经网络模型与学习算法 摘要:分析了神经网络算法的基本原理,给出了 BP 神经网络算法的 具体实现方法,总结...
BP神经网络模型与学习算法 BP神经网络模型概述 ? BP (Back Propagation)神经网络,即误差反向传播 算法的学习过程,由信息的正向传播和误差的反 向传播两个过程组成...
神经网络 网络的学习算法 BP 神经网络的学习算法 H20714024 陈宁轩 07 应用心理...网络 的不同连接模型.常见的连接模型有前向网络,从输入层都输出层有反馈的网络...
自组织神经网络模型与学习算法_工学_高等教育_教育专区。自组织神经网络模型与...TND) net为生成的新BP神经网络 PR为网络输入矢量取值范 为生成的新BP神经网络...
热门文档