第三章 牛顿法
§3.1 最速下降法
一、最速下降法
在极小化算法中,若每次都以迭代点处的负梯度方向为搜索方向,产生的算法称为最速下降法,它是无约束最优化算法中最简单、最基本的算法。 算法描述:
1) 给出初始点x0 Rn,允许误差 0,k 0; 2) 计算dk gk,若gk ,Stop 令 x* xk; 3) 由一维搜索确定步长因子 k,使得
f(xk kdk) minf(xk dk)
0
4) 令xk 1 xk kdk,k k 1,go to 2).
二、最速下降算法的收敛性
定理3.1 设f C1,则最速下降算法产生的点列 xk 的每个聚点均为驻点。 证明:设是 xk 的一个聚点,则存在子序列 xk K,使得
1
limxk
k K1
令dk f(xk),由f C,知 f(xk) K是收敛序列,故 dk K有界,且
1
1
1
limdk f()
k K1
由定理2.6有
T
f()( f()) f()
2
0
故有 f() 0。
2
定理3.2 设f(x)二次连续可微,且 f(x) M,则对任何给定的初始点x0 Rn,最速下降
算法或有限终止,或limf(xk) ,或lim f(xk) 0。
k
k
最优化理论与算法(第三章)_理学_高等教育_教育专区 暂无评价0人阅读0次下载举报文档 最优化理论与算法(第三章)_理学_高等教育_教育专区。最优化理论笔记...
最优化理论与算法(第三章牛顿法)_数学_自然科学_专业资料。第三章 牛顿法 §3.1 最速下降法 一、最速下降法 在极小化算法中,若每次都以迭代点处的负梯度方向...
最优化理论与算法(第二章... 27页 1下载券 最优化理论与算法(第三章... ...第五章 拟牛顿法 §5.1 拟牛顿法 牛顿法具有收敛速度快的优点,但需要计算 ...
最优化理论与算法(第二章... 最优化理论与算法(第三章... 最优化理论与算法...第五章 拟牛顿法 §5.1 拟牛顿法 牛顿法具有收敛速度快的优点,但需要计算 ...
最优化理论与算法(第三章) 最优化理论与算法(第五章) 最优化理论与算法(第八章) 最优化理论与算法(第九章) 最优化理论与算法(第十章) 最优化理论与算法(第...
最优化理论与算法(第一章... 最优化理论与算法(第二章... 最优化理论与算法(第三章... 最优化理论与算法(第四章... 最优化理论与算法(第五章... 最优...
最优化理论与算法(数学专业研究生) 最优化理论与算法(数学专业研究生) 研究生 第一章 引论§1.1 引言 一、历史与现状 最优化理论最早可追溯到古老的极值问题,...
最优化理论与算法(第二章) 最优化理论与算法(第三章) 最优化理论与算法(第四章) 最优化理论与算法(第五章) 最优化理论与算法(第八章) 最优化理论与算法(第...
最优化理论与算法(第一章... 最优化理论与算法(第二章... 最优化理论与算法(第三章... 最优化理论与算法(第四章... 最优化理论与算法(第五章... 最优...
热门文档