第五章 拟牛顿法
§5.1 拟牛顿法
牛顿法具有收敛速度快的优点,但需要计算Hesse矩阵的逆,计算量大。本章介绍的拟牛顿法将用较简单的方式得到Hesse矩阵或其逆的近似,一方面计算量不大,另一方面具有较快的收敛速度,这类算法是无约束最优化问题最重要的求解方法。
一、拟牛顿条件
2
设f(x)在R上二次可微,为了获得Hesse矩阵G(x) f(x)在xk 1处的近似,先研究如下
n
问题。考虑f(x)在xk 1附近的二次近似:
T
f(x) f(xk 1) gk(x xk 1)TGk 1(x xk 1). 1(x xk 1)
1
2
两边求导,有 g(x) gk 1 Gk 1(x xk 1) 令x xk,有 gk gk 1 Gk 1(xk xk 1) 再令 sk xk 1 xk,yk gk 1 gk
1
则有 yk Gk 1sk 或 Gk
1yk
sk.
因此,我们要求构造出的Hesse矩阵的近似Bk 1或Hesse矩阵逆的近似Hk 1应分别满足:
Bk 1sk yk 或 Hk 1yk
它们均称之为拟牛顿条件。
二、一般拟牛顿算法
1) 给出初始点x0 R,H0 I, 0,k: 0.
2) 若gk ,停止;否则,计算dk Hkgk(拟牛顿方向).
3) 沿方向dk进行线性搜索, k 0(可以是精确,也可非精确).令xk 1 xk kdk. 4) 校正Hk产生Hk 1,使拟牛顿条件满足. 5) k: k 1, 转2)
sk (5.1)
最优化理论与算法(第二章... 最优化理论与算法(第三章... 最优化理论与算法...第五章 拟牛顿法 §5.1 拟牛顿法 牛顿法具有收敛速度快的优点,但需要计算 ...
最优化理论与算法(第五章拟牛顿法)_数学_自然科学_专业资料。第五章 拟牛顿法 §5.1 拟牛顿法 牛顿法具有收敛速度快的优点,但需要计算 Hesse 矩阵的逆,计算...
数值最优化算法与理论第五章习题答案_工学_高等教育_教育专区。数值最优化算法与理论??? ? 2007-10-29 1 ? 2 ? 3 (1) ? 1 2 n 1 2 n n n i ?...
最优化理论与算法(第五章) 最优化理论与算法(第八章) 最优化理论与算法(第九章) 最优化理论与算法(第十章) 最优化理论与算法(第十一章...1...
最优化理论与算法(第一章... 最优化理论与算法(第二章... 最优化理论与算法(第三章... 最优化理论与算法(第四章... 最优化理论与算法(第五章... 最优...
最优化理论与算法(第五章... 15页 1下载券 最优化理论与算法(第三章... 32页 1下载券 最优化理论与算法(第一章... 30页 1下载券 最优化理论与算法 10...
研究生 第一章 引论§1.1 引言 一、历史与现状 最优化理论最早可追溯到古老...证明: 最优化算法的 算法的结构 §1.5. 最优化算法的结构 一、算法结构 ...
最优化理论与算法(第五章... 15页 1下载券 最优化理论与算法(第一章... ...第三章 牛顿法 §3.1 最速下降法 一、最速下降法 在极小化算法中,若每次...
最优化理论与算法(第二章) 最优化理论与算法(第三章) 最优化理论与算法(第四章) 最优化理论与算法(第五章) 最优化理论与算法(第八章) 最优化理论与算法(第...
最优化理论与算法(第一章... 最优化理论与算法(第二章... 最优化理论与算法(第四章... 最优化理论与算法(第五章... 最优化理论与算法(第八章... 最优...
热门文档