(梯度下降法,就是利用负梯度方向来决定每次迭代的新的搜索方向,使得每次迭代能使待优化的目标函数逐步减小。梯度下降法是2范数下的最速下降法。
最速下降法的一种简单形式是:x(k+1)=x(k)-a*g(k),其中a称为学习速率,可以是较小的常数。g(k)是x(k)的梯度。
直观的说,就是在一个有中心的等值线中,从初始值开始,每次沿着垂直等值线方向移动一个小的距离,最终收敛在中心。
对于某一个性能指数,我们能够运用梯度下降法,使这个指数降到最小。若该指数为均方误差,我们便得到了最小均方误差(LMS)算法。
BP算法也是要使性能指数-均方误差达到最小,它与LMS算法的差别在于对于权值导数(即梯度)的计算方式上。
LMS是运用在单层线性网络中的,误差是网络权值的显示线性函数,权值导数可直接求得。但其只能解决线性可分问题。
BP算法用于有隐藏层的多层网络中,权值和误差的关系比较复杂,需要用到微积分链法则。该算法可以解决线性不可分问题。 如何使用链法则,是个比较复杂的问题,可以参考《神经网络设计》一书)
最速下降梯度法matlab程序
% Steepest Descent Method
% By Kshitij Deshpande
clc
clear all
warning off
prompt = {'Coeficients if X1=','Coefficients of X2=','Coefficeint of
X1X2=','Initial Point='};
def = {'[2 1 0]','[1 -1 0]','2','[0 0]'};
a=inputdlg(prompt,'Data',1,def);
a=char(a);
[m,n]=size(a);
x1 =
eval(a(1,1:n));x2=eval(a(2,1:n));x1x2=eval(a(3,1:n));X1=eval(a(4,1:n)); delf1(1) = polyval(polyder(x1),X1(1));
delf1(1) = (delf1(1))+(x1x2*X1(2));
delf1(2) = polyval(polyder(x2),X1(1));
delf1(2) = (delf1(2))+(x1x2*X1(1));
s=-delf1;
%%%%%%%%%%
%report
srep(1,1:2)=s;
%%%%%%%%%%
0.618法和最速下降法的C... 2页 1下载券 最速下降法C语言程序设计...... 最速下降C语言程序,包含牛...
0.618法和最速下降法的C语言程序_IT/计算机_专业资料。0.618法的c语言程序0.618 法的 c 语言程序 . #include <stdio.h> #include <math.h> float m=...
最速下降法MATLAB程序实现_数学_自然科学_专业资料 暂无评价0人阅读0次下载举报文档 最速下降法MATLAB程序实现_数学_自然科学_专业资料。function [drag,ddrag]...
%最速下降法(爬山法)的一个 matlab 程序 function y=steepest(x) %This program uses the steepest descent direction algorithm %to calculate the minimum of ...
数值分析最速下降法matlab源程序_理学_高等教育_教育专区。数值分析最速下降法matlab源程序,最速下降法数值分析最速下降法 matlab 源程序 Matlab 源程序 clc; ...
用最速下降法求目标函数程序_数学_自然科学_专业资料。用最速下降法求目标函数程序( ) 4 用最速下降法求目标函数 f ( X ) ? x1 ? x1 x 2 ? ( x...
MATLAB最速下降法(梯度法)程序_IT/计算机_专业资料。这个是最难的考点 大家好好看啊查看文章 matlab 最速下降法 2010-08-18 17:13 function x=fsxsteep(f,...
MATLAB实现最速下降法(梯度)程序_计算机软件及应用_IT/计算机_专业资料。MATLAB实现最速下降法(梯度)程序matlab 最速下降法 2010-08-18 17:13 function x=fsx...
实验2 最速下降法和共轭梯度法的程序设计_理学_高等教育_教育专区。实验 2 一、实验目的 最速下降法和共轭梯度法的程序设计 1、熟悉无约束优化问题的最速下降...
matlab编程实现二分法,牛顿法,黄金分割法,最速下降matlab程序代码_数学_自然科学_专业资料。最优化方法及其应用用二分法求解 m in 1. f (t ) ? t ? 2t ? ...
热门文档