当前位置:文档之家› 关于无约束优化各种方法

关于无约束优化各种方法


f ( x) 0
例4-2
求目标函数
f (x)
x2 1
25x22
的极小点。
解 取初始点 x0 [2, 2]T
则初始点处梯度: f ( x0 ) 104
f
(x0)

2x1
50
x2

x0

4 100
沿负梯度方向进行一维搜索,有
x1

x0

0 f
第四章 无约束优化方法
4-1 最速下降法 4-2 牛顿类方法 4-3 坐标轮换法 4-4 共轭方向法 4-5 鲍威尔方法
第四章 无约束优化方法
为什么要研究无约束优化问题?
(1)通过熟悉它的解法可以为研究约束优 化问题打下良好的基础。 (2)约束优化问题的求解可以通过一系列 无约束优化方法来达到。
例4-3 用梯度法求下面无约束优化问题:
梯度法的特点
(1)理论明确,程序简单,对初始点要求不严格。 (2)对一般函数而言,梯度法的收敛速度并不快,因
图 最速下降法的收敛过程
§4-1 最速下降法
方法特点
(1)初始点可任选,每次迭代计算量小,存储 量少,程序简短。即使从一个不好的初始点出 发,开始的几步迭代,目标函数值下降很快, 然后慢慢逼近局部极小点。
(2)任意相邻两点的搜索方向正交,它的迭代 路径为绕道逼近极小点。当迭代点接近极小点 时,步长变得很小,越走越慢。
α α
例4-1 求目标函数 f ( x) x12 x22 的极小点。
取初始点 x0 [2, 2]T
解:初始点处梯度:
f
(x0)


2 2
x1 x2

x
0

4 4
沿负梯度方向进行一维搜索,有 x1 x 0 f (x 0 )
例4-1 求目标函数 f ( x) x12 x22 的极小点。
[f ( xk1)]T f ( xk ) 0
(sk1)T sk 0
§4-1 最速下降法
在最速下降法中, 相邻两个迭代点上的函 数梯度相互垂直。
搜索方向就是负梯度方 向,因此相邻两个搜索 方向互相垂直。
形成“之”字形的锯齿 现象,而且越接近极小 点锯齿越细。
图 最速下降法的搜索路径
§4-1 最速下降法
xk1 xk k sk (k 0,1, 2, )
xk1 xk akf ( xk ) (k 0,1, 2, )
§4-1 最速下降法
为了使目标函数值沿搜索方向 f ( xk )能够获得 最大的下降值,其步长因子k 应取一维搜索的最佳
步长。即有
fHale Waihona Puke ( xk1)f [xk
(x0)

2 2
40 1000

如何求?
0为一维搜索最佳步长,应满足极值必要条件
f (x1) min(2 4)2 25(2 100)2 min()

坐标轮换
'() 8(2 40) 5 000(2 1000) 0
取初始点 x0 [2, 2]T
沿负梯度方向进行一维搜索,有 x1 x 0 f (x 0 )
x1

2 2
0
4 4

2 2

40
4
0

0为一维搜索最佳步长,应满足极值必要条件
f (x1 ) (2 4 0 )2 (2 4 0 )2 ( 0 )
算出一维搜索最佳步长
0

626 31 252
0.020
030
72
第一次迭代设计点位置和函数值
x1

2 40
2

100
0


1.919 877 0.307 178

5

102

f ( x1) 3.686 164
继续作下去,经10次迭代后,得到最优解 x 0 0 T
黄金分割法
牛顿法
抛物线法
§4-1 最速下降法
相邻 两个 搜索 方向 互相 垂直
最速下降法的搜索路径
f
( xk1)
f [xk
akf
( xk )] min a
f [xk
af ( xk )]
min( ) a
根据一元函数极值的必要条件及
复合函数求导公式得
'( ) f [ xk kf ( xk )] T f ( xk ) 0
目标函数
f ( x) min
min f ( x) x Rn
xk1 xk k sk (k 0,1,2, )
搜索方向的构成问题乃是无约束优化方法的关键。
(1)间接法(2)直接法
§4-1 最速下降法
搜索方向s取该点的负梯度方向 f (x)(最速下降 方向) ,使函数值在该点附近的范围内下降最快 。
(0 ) 4(2 40 ) 0
0 0.5
x1

x0
0f
(x0 )

0 0
第一次迭代设计点位置和函数值
f (x1) 0
f
( x1 )

2 2
x1 x2

x1

0 0
f ( x1) 0
因此,迭代终止:
x x1 0 0T
akf
( xk )]
min a
f [xk
af
( xk )]
min( ) a
§4-1 最速下降法
f
( x ) k1
f [xk
akf
( xk )] min a
f [xk
af ( xk )]
min( ) a
步长因子 k 求解方法:
解析法:根据极值点必要条件。
无约束优化问题标准形式:
求n维设计变量 x [x1 x2
xn ]T
使目标函数 f ( x) min min f ( x) x Rn
无约束优化问题极值存在的必要条件:
f 0
f

x1 f
0 0

x2
f
0
xn
无约束优化问题标准形式:
f (x) 0
坐标轮换
§4-1 最速下降法
这个问题的目标函数的等值线为一簇椭圆,迭代点从 x0
走的是一段锯齿形路线,见图。
例4-3 用梯度法求下面无约束优化问题:
例4-3 用梯度法求下面无约束优化问题:
例4-3 用梯度法求无约束优化问题:
例4-3 用梯度法求下面无约束优化问题:
例4-3 用梯度法求下面无约束优化问题:
相关主题