2 又因为'(0) f (X )T P,"( ) PT2 f (X P)P,
代入(2.4),得
f (X P) f (X ) f (X )T P 1 PT2 f (X P)P,
2
§2.4 极小点的判定条件
函数f(X)在局部极小点满足什么条 件？反之满足什么条件的是局部极小点？ 什么是全局极小点？那么怎样找到全局 极小点呢？
证明：设 (t) f (X tP), 于是
(0) f (X ),(1) f (X P), 对 (t) 按一元函数在t=0点展开，得到
(t ) (0) '(0)t 1 "(t )t 2 ,
2 其中0 1.令t 1， 于是
(1) (0) ' (0) 1 "( ), (2.4)
(
X
0
)
xn
是H ( X )在点X 0处的一阶导数或Jacobi矩阵，
简记为：
H ( X 0 ) mn H ( X 0 )
• 三 泰勒展式
定理 2.2 设 数，则
f : Rn 具R有1 二阶连续偏导
f (X P) f (X ) f (X )T P 1 PT2 f (X )P, 2
其中X X P， 而0 1
0
X的各分量的二阶偏导数 2 f ( X 0 ) (i, j 1,2, , n) xix j
都存在，
则
称函
数f在点X
处
0
二
阶可
导，
并且称矩阵
2
f (X x12
0
)
2 f (X0)
2
f
(
X
0
)
x2x1
2
f
(X
0
)
xnx1
2 f (X0)
x1x2 2 f (X0)
x2 2
2 f (X0)
4
2x3 4
6 2x1
即为Hesse矩阵
例2 设 a Rn, X Rn,求b 线R1性, 函数
f (X ) aT X b
在任意点X处的梯度和Hesse矩阵
解:设 a a1, a2 , an T , X x1, x2 , xn T ,
n
f ( x1, x2 , xn ) ai xi b, i 1
简记为：
H ( X 0 ) mn H ( X 0 )
h1( X 0 )
x1 h2 ( X
0
)
mn H ( X 0 )
x1
hm
(
X
0
)
x1
h1( X 0 ) x2
h2 ( X 0 ) x2
hm ( X 0 ) x2
h1( X 0 )
xn h2 ( X
0
)
xn
hm
H ( X ) h1( X ),h2 ( X ), hm ( X )T ,
如果hi ( X
)(i
1,2,
,
m)在点X
处对于自变量
0
X x1, x2 , xn T 的各分量的偏导数
hj ( X 0 ) ( j 1,2, , n) x j
都存在，
则称向量函数H ( X）
在点X
处一阶可
0
导， 并且称矩阵
例１ 求目标函数
f (x) x14 2x23 3x32 x12 x2 4x2x3 x1x32 的梯度和Hesse矩阵
解:因为
f x1 f x2 f x3
4x13 2x1x2 x32 6x22 x12 4x3 f (x) 6x3 4x2 2x1x3
4x13 2x1x2 6x22 x12
h1( X 0 )
x1 h2 ( X
0
)
mn H ( X 0 )
x1
hm
(
X
0
)
x1
h1( X 0 ) x2
h2 ( X 0 ) x2
hm ( X 0 ) x2
h1( X 0 )
xn h2 ( X
0
)
xn
hm
(
X
0
)
xn
是H ( X )在点X 0处的一阶导数或Jacobi矩阵，
f
(X
)
f ( X
x1
f ( X
xn
)
)
n j 1 n j 1
a1 j x j
a1 j x j
b1 bn
所以
n
j 1 n
a1 j x a1 j x
j j
b1
,
bn
j 1
f ( X ) AX b
上式中显然有
f ( X )
第二章 最优化问题的 数学基础
❖Hesse矩阵及泰勒展式 ❖极小点的判定条件
§2.3 Hesse矩阵及泰勒展式
梯度▽f(X)是关于f(X)关于X的一阶 导数，那么f(X)关于X的二阶导数是什 么？
• 一、Hesse矩阵
1、Hesse矩阵的定义
设f
: Rn
R1 ,
X
0
Rn
,
如果f在点X
处对于自变量
xi
n
aij x j bi , i 1,2,
j 1
, n,
再对它们求偏导数得：
2 f xix j
aij , i,
j 1,2,
n,
所以：
a11 a12 a1n
2 f ( X ) a21 a11
a2n
A.
an1 an1
ann
• 二、Jacobi矩阵
1、定义
设H : Rn Rm , X 0 Rn , 记
f xi ai , i 1,2, , n,
f ( X ) a1, a2 , an T a.
进而
2 f 0, i, j 1,2, n, xix j
所以 2 f ( X ) 0(n n阶零矩阵)
例3 设 A Rnn是对称矩阵 ，求b Rn , c R1,
二次函数 f ( X ) 1 X T AX bT X c
x32 4x3
6x3 4x2 2x1x3
又因为
2 f x12
12x12
2x2 ,
2 f x1x2
2 f 2x1, x1x3
2x3
2 f x2 2
12x2 ,
2 f 4, x2x3
2 f x32
6 2x1
所以
2
f
(
x)
12
x12 2 2x1
x2
2x3
2x1 12 x2
xn x2
是f在点X
处
0
的Hesse矩阵
2 f (X0 x1xn)2 f (X0)x2xn
2
f
(X
0
)
xn 2
2、Hesse矩阵的性质
当f在点X0点的二阶偏导数都连续时，有
2 f 2 f ,i, j 1,2, , n,
xix j xjxi
因此，在这种情况下Hesse矩阵是对称的。
3、举例
2
在任意点处的梯度和Hesse矩阵
解:设 A (aij )nn , b b1, b2 , bn T ,
X x1, x2 , xn T , 则
f (x1, x2 ,
xn )
1 2
n i 1
n
aij xi x j
j 1
n
bi xi c.
i 1
将它对各变量xi（i=1,2,,n）求偏导数，得：