x1
x1 0
x1
F (X 0)lim F (x1 0,x2 0 x2)F (x1 0,x2 0)
x2 x2 0
x2
分别是函数在点X0处沿坐标轴方向的变化率.
函数 F(x1,x2) 在点 X 0 处沿某一方向的变化率如图2-1
F (X 0) liF m (x 1 0 x 1 ,x 2 0 x 2)f(x 1 0,x 2 0) S 0
24xx11x22
X0 1,1T
F(X0)
2 4
因此，
F ( S X 1 0 ) F (x X 10 )co 1 F s ( x X 20 )co 2 2 sc4 o 4 s c4 o 1 .s 666
同理：
F(X0)c
os c
os1.465
S2 2 3 4 6
F x1
F cos1
x2
x0
cos2
F
F(
x0
)
x1 F
x2 x0
F x1
T
F
x2
x0
为函数F(x1，x2)在
x0点处的梯度。
设
s
cos1
c
o
s
2
F s
Fx1
Fcos1
x2
cos2
FT s F s cosF,s
梯度方向和s方向重合时，方向导数值最大。
梯度的模：
2
2
函数的凸性表现为单峰性。对于具有凸性特点的函数来说， 其极值点只有一个，因而该点既是局部最优点亦为全域最优点。
为了研究函数的凸性，现引入凸集的概念：
一、凸集
设D为n维欧氏空间中的一个集合，若其中任意两点 X(1)、X(2)之间的联接直线都属于D，则称这种集合D为n维
欧氏空间的一个凸集。图2-6（a）是二维空间的一个凸集， 而图2-6（b）不是凸集。
性质二 梯度方向是函数具有最大变化率的方向。
x2
f(x0)
最速上升方向
x0
－f(x0) 最速下降方向
下降方向
上升方向 变化率为零的方向
O
x1
图2-5 梯度方向与等值面的关系
例2-1 求二元函数F(X)x12x2 4在点 X0 1,1T
沿
S1
12
4 4
和
S2
21
3 6
的方向导数。
解：
F(X)
F(X) Fx(X1 ) x2
F
F
x1
xF2
设： 则有
s
cos1
c
o
s
2
为单位向量。
F sx 0 F (x 0 ) T s F (x 0 )c o s ( F ,s )
梯度方向是函数值变化最快的方向，而梯度 的模就是函数变化率的最大值 。
x2
f(x0)
最速上升方向
x0
－f(x0)
上升方向
最速下降方向 下降方向
图2-6二维空间的凸集与非凸集
X（1）、X（2）两点之间的联接直线，可用数学式表达为:
XX(1)(1)X(2)
式中 为由0到1（0≤ ≤1）间的任意实数。
第二章 优化方法的数学基础
§2-1 方向导数与梯度 §2-2 凸集、凸函数与凸规划 §2-3 无约束优化问题的极值条件 §2-4 有约束优化问题的极值条件
§2-1 方向导数与梯度
一、函数的方向导数
一个二元函数F(x1,x2)在X0点处的偏导数定义为:
F (X 0)lim F (x1 0 x1,x2 0)F (x1 0,x2 0)
（2-1）
(x1)2(x2)2
称它为函数沿此方向的方向导数
和 F ( X 0 ) F ( X 0 )也可看成是函数分别沿坐标轴方向
x1
x2
的方向导数
偏导数是方向导数的特例
推导方向导数与偏导数之间的数量关系：
F(X0) limF(x10 x1,x20 x2)F(x10,x20)
S 0
l 0 F i( x 1 0 m x 1 , x 2 x 0 1 ) F ( x 1 0 ,x 2 0 ) x 1 l 0 F i( x 1 0 m x 1 ,x 2 0 x x 2 2 ) F ( x 1 0 x 1 ,x 2 0 ) x 2
变化率为零的方向
O
x1
图2-4 梯度方向与等值线的关系
多元函数的梯度
F
x1
F
F
(x0)
x
2
F F
x1
x2
F
x n x 0
T
F
xn
x0
F sx 0 i n 1 F x ix 0 c o s i F ( x 0 ) T d F ( x 0 )c o s ( F ,s )
最速下降方向。
解： 由于
fX
fX
x 1 6 x 1 4 x 2 , x 2 4 x 1 2 x 2
则函数在 X0 0,1T处的最速下降方向是
f X
Pf
X0
fxX 1
x2 x10
46xx1124xx22x10 x21
4 2
x21
§2-2 凸集、凸函数与凸规划
当极值点X*能使f（X*）在整个可行域中为最小值时，即在整 个可行域中对任一X都有f（X）≥f（X*）时，则X*就是最优点， 且称为全域最优点或整体最优点。若f（X*）为局部可行域中的 极小值而不是整个可行域中的最小值时，则称X*为局部最优点或 相对最优点。最优化设计的目标是全域最优点。为了判断某一极 值点是否为全域最优点，研究一下函数的凸性很有必要。
例 2-2
求函数 f(x ) x 1 2 x 2 2 4 x 1 4 在点x(1)=[3,2]T
的 梯度。
解：
f
f
(
x)
x1 f
2 x1
2 x2
4
x2
在点x(1)=[3,2]T处的梯度为：
f(x(1))2x21x24x(1) 2 4
例2-3：试求目标函数 fx 1 ,x 2 3 x 1 2 4 x 1 x 2 x 2 2在点X0 0,1T处的
梯度 F(x0) 模：
1
F(x0)
n i1
(F xi )2x0
2
函数的梯度方向与函数等值面相垂直，也就是和等 值面上过x0的一切曲线相垂直。
由于梯度的模因点而异，即函数在不同点处的最大
变化率是不同的。因此，梯度是函数的一种局部性 质。
梯度两个重要性质：
性质一 函数在某点的梯度不为零，则必与过该点 的等值面垂直；
F(xX10)co1sF(xX20)co2s
（2-2）
x2
S
x
x20
s
x0
x2
2
x1
1x0处沿s方向的方向导数
F s x0
F x1 x0cos1 xF2 x0cos2
xFn x0cosn
n
i1
F xi x0cos
i
二、 梯度 二元函数的梯度:
F sx0
F x1x0cos1 xF2 x0cos2