(0) (0) f ( x1(0) , x2 x2 ) f ( x1(0) , x2 ) f ( x) lim x2 X ( 0) x2 0 x2
分别表示沿坐标轴x1和x2方向在X (0)处的f(X)变化率。
§2.1
多元函数的导数与梯度
(0) (0) f x1(0) x1 , x2 x2 f x1(0) , x2 f lim d X ( 0 ) d 0 d (0) (0) (0) f x1 x1 , x2 f x1(0) , x2 x1 lim d 0 x1 d
n元函数极值充分条件:海塞矩阵为正定。
2 f 2 x 1 2 f x2 x1 (0) G( X ) 2 f xn x1
2 f xn x2
§2.4
凸集、凸函数与凸规划
f X f X*
函数f(X)在X*附近的一切X均满足不等式
2.二阶导数（ Hessian矩阵)判断
Hessian矩阵G(X)在R上处处半正定。
(0) 1 (0) 2
X (0)
x2
§2.2
多元函数的泰勒展开
二元函数泰勒展开矩阵形式:
f x1 , x2 f X
(0)
f ( X
(0) T
1 ) X X TG ( X (0) )X 2
2 f x 2 1 其中: G ( X (0) ) 2 f x2 x1
2 2
2 5 5 5 1 5 1 5 5
f
X
(1)
26 3x 4 x1 x2 x |X ( 0 ) 5 2 5
2 1
§2.2
多元函数的泰勒展开
一元函数泰勒展开:
1 '' 0 f x f x f x x f x x 2 2
X (0) -▽f(X (0))
上升方向 最速下降方向 下降方向 d: 等值线的切线方向， 函数值变化率为零的方向 最速上升方向
0
x1
§2.1
多元函数的导数与梯度
f f f x , x ,... x 2 n X ( 0) 1
T
进一步推导到n维:
f X
(0)
f 即 d
cos 1 cos 2 沿d方向的方向向量 d ... cos n
X ( 0)
f X
(0) T

(0) f X d cos f , d
§2.1
多元函数的导数与梯度
▽f(X (0)) x2 -▽f(X (0))
f
''
X 0
f '' X 0
f '' X 0
极大值
极小值
偶次阶导数不 为零为极值点
奇次阶导数不 为零为拐点
§2.3
无约束优化问题的极值条件
f f 0 x1 x2
二元函数极值必要条件:
即:
f ( X ) 0
2 f 0 2 x1
2 f x12 f x2x1
X
(0)
x1(0) 2 (0) x2 1
§2.3
无约束优化问题的极值条件
2 f x 2 G ( X (0) ) 2 1 f x2 x1 2 f x1x2 2 0 2 f 0 2 2 x2
f(X)在X0点沿d方向的方向导数:
lim
(0) (0) f x1(0) x1 , x2 x2 f x1(0) x1 , x2 x2
d 0
x2
x2
d
d
f cos 1 f cos 2 x1 X ( 0) x2 X ( 0 )
上升方向 最速下降方向 下降方向
梯度重要性质：
① 梯度是 X (0)点处最大的 方向导数； ② 梯度方向是过点的等值 线的法线方向； ③ 梯度是X (0)点处的局部 性质； ④ 梯度指向函数变化率最 大的方向； ⑤ 正梯度方向是函数值最 速上升的方向，负梯度 方向是函数值最速下降 的方向。
X (0)
2 f x1x2 称为海赛（Hessian）矩阵 2 f 2 x2 X ( 0 )
§2.2
多元函数的泰勒展开
n元函数泰勒展开矩阵形式:
f (X ) f X
(0)
f ( X
(0) T
1 T (0) ) X x G ( X )X 2
2 f x1xn 2 f x2 xn 2 f xn 2 X (0)
2
二元函数极值充分条件:海 塞矩阵各阶主子式均大于零。
2 f x1x2 f 2 x2
2
0
§2.3
无约束优化问题的极值条件
求函数 f(X)=x12+x22-4x1-2x2+5 的极值
解 ：1）根据极值的必要条件求驻点
f x 2 x 4 1 1 0 f ( x ) f 2 x2 2 x 2
称f(x)是定义在凸集上的一个凸函数。
f(x)
（ f x1） 1 f x2
f x1 1 x2
0
a x1
x
x2 b
x
§2.4
凸集、凸函数与凸规划
f x2 f x1 x2 x1 f x1
T
三、凸性条件 1.一阶导数判断
2 f 2 x 1 2 f x2 x1 (0) G( X ) 2 f xn x1
2 f x1x2 2 f x2 2
2 f xn x2
§2.3
无约束优化问题的极值条件
f 'X 0
必要条件
一元函数极值条件:
2）利用海塞矩阵判断驻点是否为极值点
一阶主子式：
2 f x12
(0)
20
X ( 0)
二阶主子式： G( X
2 0 ) 40 0 2
X
(0)
2 为极值点，f(X (0))=0为极值 1
§2.3
无约束优化问题的极值条件
2 f x1x2 2 f x2 2 2 f x2 xn 0 2 f (0) xn 2 X 2 f x1xn
方向导数最大值发生在 :
cos f , d 1
结论: d方向取梯度方向时,函数值的变化率最大。 可见梯度方向是函数值变化最大的方向
§2.1
f d
多元函数的导数与梯度
cos f , d 0
(0) f X 0 cos f , d
X (0)
x2
▽f(X (0))
Δd x2(0) X (0) θ2 θ1 0 x1(0) Δx1
Δx2
表示沿d方向在X (0)处的f(X)变化率。
x1
§2.1
多元函数的导数与梯度
x3
n维函数f(X)在X (0)点沿d方 向的方向导数:
f f f cos 1 cos 2 d X ( 0) x1 X ( 0) x2 X ( 0) f cos n xn X ( 0) f cos i i 1 xi X ( 0)
为d方向的单位向量，则有
f d
X ( 0)
f f (0) T cos 1 cos 2 f X d x1 X ( 0) x2 X ( 0)
§2.1X ( 0)
f X
(0) T

d f X (0) cos f , d
第二章优化设计的数学基础
2.1 多元函数的导数与梯度 2.2 多元函数的泰勒展开 2.3 无约束优化极值条件 2.4 凸集、凸函数与凸规划 2.5等式约束优化极值条件
2.6 不等式约束优化极值条件
§2.1
一、方向导数
多元函数的导数与梯度
二元函数f(x1，x2)在X (0)的偏导数为：
(0) (0) f ( x1(0) x1 , x2 ) f ( x1(0) , x2 ) f ( x) lim x1 X ( 0) x1 0 x1
f X f X 6 x1 4 x2 , 4 x1 2 x2 x1 x2
函数在X (0)=[0, 1]T 处的最速下降方向是
f X x 6 x1 4 x2 4 1 (0) f X f X 4 x1 2 x2 x1 0 2 x2 1 x2 x1 0
函数f(X)在X*处取得局部极小值，称X*为 局部极小点。 而优化问题一般是要求目标函数在某一区 域内的全局极小点。
§2.4
凸集、凸函数与凸规划
一、凸集 一个点集（或区域），如果连接其中任意两点的线 段都全部包含在该集合内，就称该点集为凸集，否 则为非凸集。
x2 x2 y x1 y x2 x2
x1 0
n
x3(0)
θ3
d θ2
X (0)
θ1
0
x2(0) x2
x1(0) x1
§2.1
二、梯度
多元函数的导数与梯度
对于二维函数f(X)在X (0)点处的梯度:
f X
设
(0)
f x f x x , x 1 2 X ( 0)
T
cos 1 d cos 2
x2 1
§2.1
多元函数的导数与梯度
4 2
这个方向上的单位向量是：
e