d
d
f X k kf X k T f X k
f X k1 T f X k 0
因此，在梯度法中，相邻两次搜索方向（即相邻两次迭代点的梯度 方向）是正交的。
30
4.2 最速下降法
（7） 最速下降法的典型特征
1. 理论明确，程序简单，对初始点要求不严 格。
2. 对一般函数而言，梯度法的收敛速度并不 快，因为最速下降方向仅仅是指某点的一 个局部性质。
初始梯度 f
(X 0)
2x1
50
x2
X
0
4 100
2）沿负梯度方向一维搜索
X
1
X
0
0f
(
X
0
)
2 2
0
4 100
2 40 2 1000
3）求最优步长
f
(X 1)
min
f
(X
0
f
(X
0 ))
min
2 4 2
252 100
2
min ( )
'(0 ) 8(2 40 ) 5000(2 1000 ) 0
4.3 牛顿型方法
3/8
（3） 举例
例：求目标函数
f (x)
x2 1
25
x2 2
的极小点。
解： 取初始点
x0 [2, 2]T
f
(x0)
ak
f
(
x
k
)]
min a
f [xk
af ( xk )]
min( ) a
根据一元函数极值的必要条件及复合函数求导公式得
'( ) f [ xk kf ( xk )] T f ( xk ) 0
[f ( x )] k1 T f ( xk ) 0
(d k1)T d k 0
10
4.2 最速下降法
继续迭代。取初始点为X1，继续重复1-5步，直到满足 精度要求。
迭代10次的结果是：
X
*
0 0
f
(
X
*
)
0 0
2021/ 3/8
20
4.2 最速下降法
2021/ 3/8
（5） 举例
这个问题的目标函数的等值线为一簇椭圆,迭代点从X0 走的是 一段锯齿形路线，见图 。
21
4.2 最速下降法
2021/ 3/8
其步长因子k 应取一维搜索的最佳步长。即有
f
( x ) k1
f [xk
akf
( xk )]
min a
f [xk
af
( xk )]
min( ) a
步长因子求解方法：
解析法：根据极值点必要条件。
黄金分割法
牛顿法
抛物线法
9
4.2 最速下降法
2021/ 3/8
（2） 计算方法
f ( xk1)
f [xk
( y0 )
2 y1
2
y2
y0
4 20
22
4.2 最速下降法
（5） 举例 沿负梯度方向进行一维搜索：
y1 y0 0( y0 )
2 10
0
4 20
2 10
40 200
β0为一维搜索最佳步长，可由极值条件：
( y1) min[ y0 ( y0 )] min ( )
( ) (2 4 )2 (10 20 )2
0 0.02003072
19
4.2 最速下降法
（5） 举例
4) 计算新的迭代点位置和函数值
X
1
2 40 2 1000
1.919877 0.3071785 10 2
f ( X 1) 3.686164
5）迭代终止条件判断
X 1 X 0 (1.919877 2)2 (0.3071785102 2)2 0.16
数值在该点附近的范围内下降最快 。
xk1 xk k d k (k 0,1, 2, )
xk1 xk akf ( xk ) (k 0,1, 2, )
终止判别条件 x k1 x k
8
4.2 最速下降法
2021/ 3/8
（2） 计算方法
为了使目标函数值沿搜索方向 f ( xk ) 能够获得最大的下降值，
4) 以xk点为出发点，求 f ( xk )方向上的最优步长αk，
有 xk1 xk kf ( xk ) ；
5) 终止判别 xk1 xk ？若满足条件，输出最优解，
xk+1 →x*, f*←f (x*)。否则，令k ← k+1，转步骤3)。
13
4.2 最速下降法
（4） 计算步骤
α α
2021/ 3/8
2021/ 3/8
（5） 举例
x1
2 2
0
4 4
2 2
40 40
0 为一维搜索最佳步长，应满足极值必要条件
f
( x1 )
min
(2
40
)2
(2
40
)2
min
(
0
)
(0 ) 16(2 40 ) 0
0 0.5
x1
0 0
16
4.2 最速下降法
（5） 举例
第一次迭代设计点位置和函数值
f (x1) 0
由 ( 0 ) 0
0
56 112
0.5
从而算得一步计算后设计点的位置及其目标函数：
2021/ 3/8
23
4.2 最速下降法
（5） 举例
y1
2 10
40 200
0 0
( y1) 0
经变换后，只需一次迭代，就可找到最优解。
这是因为经过尺度变换：
y1 x1 y2 5x2
等值线由椭圆变成圆。
4
4.1 概述
无约束优化问题是：
求n 维设计变量 X x1 x2 xn T 使目标函数 f X min
min f X X Rn
无约束优化问题极值存在的必要条件：
f 0
2021/ 3/8
f
x1 f
0 0
x2
f
0
xn
5
4.1 概述
2021/ 3/8
目前已研究出很多种无约束优化方法，它们的主要不同点在
原函数: f ( x)
近似二次函数:
f ( x) ( x) f ( xk ) f ( xk )T ( x xk )
1 ( x xk )T 2 f ( xk )( x xk ) 2
求( x)的极小点 x *，要求其梯度等于零。
33
2021/
4.3 牛顿型方法
3/8
（2） 迭代公式
令
( xk1) f ( xk ) 2 f ( xk )( xk1 xk ) 0
xk1 xk k d k (k 0,1, 2, )
其搜索方向直接取定或由计算目标函数值所得的信息来确定。
搜索方向的构成问题乃是无约束优化方法的关键。
6
4.1 概述
无约束优化方法求解的四个步骤:
1. 选择初始迭代点x0。
2. 从迭代点xk出发进行搜索，确 定使目标函数值下降的搜索方 向dk。
3. 确定适当的步长因子αk，求xk+1 = xk + αk dk ，使f(xk+1)<f(xk)。
于构造搜索方向上的差别。
（1）间接法——要使用导数，如梯度法、（阻尼）牛顿法、变尺 度法、共轭梯度法等。 （2）直接法——不使用导数信息，如坐标轮换法、鲍威尔法、单 形替换法等。
用直接法寻找极小点时，不必求函数的导数，只要计算目标函 数值。这类方法较适用于解决变量个数较少的(n ≤20)问题，一般 情况下比间接法效率低。间接法除要计算目标函数值外，还要计 算目标函数的梯度，有的还要计算其海赛矩阵。
3. 梯度法相邻两次搜索方向的正交性，决定 了迭代全过程的搜索路线呈锯齿状，在远 离极小点时逼近速度较快，而在接近极小 点时逼近速度较慢。
4. 梯度法的收敛速度与目标函数的性质密切 相关。对于等值线(面)为同心圆(球)的目 标函数，一次搜索即可达到极小点。
2021/ 3/8
31
2021/
4.3 牛顿型方法
（5） 举例 将上例中目标函数 f ( X ) x12 25x22 引入变换 y1=x1, y2=5x2
则函数 f(X) 变为：
( y1,
y2 )
Байду номын сангаас
y2 1
y2 2
其等值线由椭圆变成一簇同心圆。
仍从 X 0 [2,2]T ,即 y0 2,10T 出发进行最速下降法寻优。此时：
( y0 ) 104
2021/ 3/8
工程问题大都为有约束优化问题。
为什么要研究无约束优化问题?
1. 有些实际问题，其数学模型本身就是一个无约束优化问题。 2. 通过熟悉它的解法可以为研究约束优化问题打下良好的基础。 3. 约束优化问题的求解可以通过一系列无约束优化方法来达到。
所以无约束优化问题的解法是优化设计方法的基本组成部分， 也是优化方法的基础。
2021/ 3/8
24
4.2 最速下降法
2021/ 3/8
（5） 举例
例： 用最速下降法求下面无约束优化问题：
25
4.2 最速下降法
2021/ 3/8
（5） 举例
26
4.2 最速下降法
2021/ 3/8
（5） 举例
27
4.2 最速下降法
2021/ 3/8
（5） 举例
28
4.2 最速下降法
2021/ 3/8
5. 在接近极小点位置， 每次迭代行进的距离 缩短，收敛速度减慢。
6. 最速下降性”只是迭 代点邻域的局部性质。 从全局看，并非最速 下降方向。