2013年7月15日12时36分
29

为函数f ( x )在 x0 点处的海赛（Hessian）矩阵
2013年7月15日12时36分
30
31
31
32
32
若将函数的泰勒展开式只取到线性项，即取
则 是过 切平面。 点和函数 所代表的超曲面相切的
将函数的泰勒展开式取到二次项时则得到二次函数 形式
此条件是必要的，但不充分，也就是说驻点不一定就是极值点。
2013年7月15日12时36分
35
检验驻点是否为极值点，一般用二阶导数的符号 来判断
若
若
，则 x0 为极小点；
，则 x0 为极大点。
若 ， x0 是否为极值点，还需逐 次检验其更高阶导数的符号。开始不为零的 导数阶数若为偶次，则为极值点，若为奇次， 则为拐点，而不是极值点。
2
§2.1 优化设计问题的数学描述及概念
最优化问题涉及的变量经常不止一个。为了简明， 在研究优化设计问题时一般采用向量和矩阵表示法。
1）向量运算 （1）向量的内积
X Y X Y cos
（2）向量的内积也可利用矩阵进行运算 X [ x1, x2 ,...xn ]T Y [ y1, y2 ,... yn ]T 设向量 X Y x1 y1 x2 y2 ... xn yn X TY 则 2）向量的正交 （1）若两个非零向量X、Y的夹角为90º ，则称它们为正交 向量。且有： 或 X TY 0 X Y 0
梯度 方向为函数变化率最大的方向，也就是最速 上升方向；负梯度方向 取最小值方向，即最速 下降方向。与梯度成锐角的方向为函数上升方向，与负 梯度成锐角的方向为函数下降方向。
2013年7月15日12时36分
19
多元函数的梯度
对于函数 处的梯度 在 ，可定义为
2013年7月15日12时36分
A的特征值全为正数。
2013年7月15日12时36分
5
二次齐次函数
F(X )
i , j 1
a
n
ij
xi x j
a12 a22 an 2
... xn ] 21 ... an1
... a1n x1 ... a2 n x2 X T AX ... ... ann xn
38

若 在x0点处取得极小值，则要求在x0点附近的一切 点x均须满足

即要求

或

即
2013年7月15日12时36分
39
条件反映了 阶主子式均大于零 即对于
在
点处的海赛矩阵
的各
要求
二元函数在某点取得极值的充分条件是要求该点处的海 赛矩阵正定。
40
2013年7月15日12时36分
对于多元函数 极值
2013年7月15日12时36分
16
上式中 代表梯度向量 表示梯度向量与d方向夹角的余弦。
的模，
x0 点处函数沿各方向的方向导数是不同的，随 变化，即随所取方向的不同而变化。
最大值发生在 取值为1时，也就是当梯度方向和 d 方向重合时其值最大。
可见梯度是一个矢量，梯度方向是函数值变化最快的 方向，而梯度的模就是函数变化率的最大值。
2 cx2
2 ax1
bx1x2
根据线性代数
6
2013-7-15
6
* 矩阵A为正定的充要条件--A的各阶主子式均大于零。
a11 A a21 如 a31
则必有：
a12 a22 a32
a13 a23 a33
为正定，

a11 0 a11 a21 a11 a21 a31 a12 0 a22 a12 a22 a32 a13 a23 0 a33
二元函数的梯度
二元函数 f (x1 , x2) 在 x0 点处的方向导数 写成下面的形式 式可改
令
并称它为函数 f (x1 , x2) 在 x0 点处的梯度。
2013年7月15日12时36分
15
设
为 d 方向单位向量，则有
即函数 f (x1 , x2)在 x0 点处沿某一方向d的方向导数 等于函数在该点处的梯度 与d方向单位向量的内积。 把向量之间的内积写成向量之间的投影形式，即
2013年7月15日12时36分
13
依此类推，即可得到n元函数 f ( x1 , x1 ,…, xn ) 在x0点处沿d方向的方向导数，其中的 cosθ i 为d方向和 坐标轴 xi方向之间夹角的余弦。
F d
n
x0
F x1
x0
F x 0 cos 1 x2
F x 0 cos 2 xn
2013年7月15日12时36分
17
当在 x1 - x2 平面内画出 f ( x1 , x2 ) 的等值线
从右图可以看出，在x0处等值线的 切线方向 d 是函数变化率为零的方 向，即有：
所以 梯度 和切线方向 d 垂直， 故梯度方向为等值面法向方向。
2013年7月15日12时36分
18
2013年7月15日12时36分 1
第二章 优化设计的数学基础
2.1 2.2 2.3 2.4 2.5 2.6
向量与矩阵的有关概念
多元函数的方向导数与梯度
多元函数的泰勒展开
无约束优化问题的极值条件
凸集、凸函数与凸规划
等式约束优化问题的极值条件
不等式约束优化问题的极值条件
重点
2.7
2013年7月15日12时36分
(aij a ji )
即在二次函数中只含有变量的二次项，则称为二次齐次函数 或二次型。 （2）将二次型写成矩阵形式：
a11 a f ( X ) [ x1 , x2 ,..., xn ] 21 ... an1 a12 a22 ... an 2 ... a1n ... a2 n ... ... ... ann x1 x 2 =X T AX ... xn
则矩阵A为n 阶对称矩阵，若对于任意非零向量X， 恒有 f ( X ) XT AX>0 则称f(x)为正定二次型，并称矩阵A 是正定的。 （3）正定矩阵 当矩阵A 为对称矩阵，若A 的各阶主子行 列式均大于零，则称矩阵A为正定矩阵。
n阶实对称矩阵A正定
n阶实对称矩阵A正定
A的顺序主子式大于零。
优化计算经常把目标函数表示成二次函数以便使问题的 分析得以简化。 在线性代数中将二次齐次函数称作二次型，其矩阵形式 为（G为对称矩阵）
2013年7月15日12时36分
33
在优化计算中，当某点附近的函数值采用泰勒展开 式作近似表达时，研究该点邻域的极值问题需要分 析二次型函数是否正定。
当对任何非零向量x使
其中
2013年7月15日12时36分
23
二元函数 式为
在
点处的泰勒展开
其中
2013年7月15日12时36分
24
将上述展开式可以写成矩阵形式：
2013年7月15日12时36分
25
其中

称作函数 矩阵，它是由函数 组成的方阵。
在 x0 点处的海赛（Hessian） 在 x0 处的二阶偏导数所
称为该函数沿此方向的方向导数。
2013年7月15日12时36分
9
据此，偏导数 和 也可看成是函数 f (x1 , x2) 分别沿坐标轴 x1 和 x2方向的方向导数。 所以方向导数是偏导数概念的推广，偏导数是方向导数 的特例。
2013年7月15日12时36分
10
方向导数与偏导数之间的数量关系是
2013年7月15日12时36分 3
（2）若对于k个非零向量 X1 , X 2 ,....., X k,存在着 X iT X j 0 i j 则该向量系为正交向量系。 3）二次型与正定矩阵 （1）在优化问题中，有一类二次函数很重要：
f ( X ) aij xi x j
i , j 1 n
2 例： F ( X ) ax12 2bx1x2 cx2

1)对于X 0, 恒有F ( X ) 0, 则A为正定矩阵 ; bx1x2 对于X 0, 恒有F ( X ) 0,则A为半正定矩阵 ; a b x1 对于X 0, 恒有F ( X ) 0,则A为负定矩阵 ; [ x1 x2 ] x b c 2 2)若A为正定 则F ( X )称为正定二次型 , .
由于函数的二次连续性，有
所以
矩阵为对称方阵。
26
例子见书例2－2
2013年7月15日12时36分
27
27
28
28
将二元函数的泰勒展开式推广到多元函数时，则多 元函数 f ( x1, x2, …, xn ) 在点 x0 处泰勒展开式的矩阵 形式为
其中
为函数 f ( x ) 在 x0 点处的梯度
F s
x0
F x1
x0
F cos1 x2
cos 2
x0
2013年7月15日12时36分
11
2013年7月15日12时36分
12
同样，一个三元函数 f ( x1 , x2 , x3 )在 x0 (x10 , x20 , x30) 点处沿d方向的方向导数如下图所示，可类似地表示成 下面的形式
7
2013-7-15
7
§ 2.2 多元函数的方向导数与梯度
方向导数
根据高等数学知识，一个二元函数 f (x1 , x2)在点x0 (x10 , x20)处的偏导数，其定义是
其中 和 方向的变化率。
分别是函数在x0点沿坐标轴 x1和 x2