然成立；
此时 ，目标函数的一阶变分
的“零梯度条件”类似。
，与无约束优化
一、最优性条件
定理 (等式约束二阶必要条件)
l
y ( f ( x ) v j h j ( x ))y 0
T
2
2
j 1
y V ( x ) x h j ( x)x 0, j 1, , l
l
f ( x ) v j h j ( x ) 0
j 1
拉格朗日函数
l
L( x, v) f ( x) v j h j ( x)
j 1
一、最优性条件
等式约束一阶必要条件的含义
目标函数的梯度
属于约束函数在 x 处的梯度
张成的子空间，共面，在正交补空间投影为0；
单个约束
j 1
y V ( x ) x h j ( x)x 0, j 1, , l
或者
l
L ( x, v ) f ( x ) v j h j ( x )
j 1
的关于y的矩阵在 x 处关于正定，则 x 是满足约束的局
部最小点。
2
xx L( x, v)
一、最优性条件
拉格朗日乘子的意义----灵敏度
仅考虑一个线性约束的等式优化问题
x
x x
min f ( x)
s.t. aT x b

x
aT x b
f ( x ) a
cos t f ( x x) f ( x ) f ( x )T x o( x )
aT x o( x ) b o( x )
使得
f ( x )
l
w g ( x ) v h ( x ) 0
iI ( x )
i
wi 0, i I ( x )
i
j 1
j
j
, l)
一、最优性条件
定理中的条件gi (x) (i I ( x )) 在 x 处连续加强为连续可微，
则上述结论等价于
m
l
i 1
j 1
是在 x 处的积极约束（active constraint）或称紧约束、
起用作约束。积极约束指标的全体组成的集合，称为 x
处的积极约束指标集，记为 I ( x )，
I ( x ) {i | gi ( x ) 0, i 1, 2,
, m}
一、最优性条件
例：设 g1 ( x) 2 x12 x2 0, g2 ( x) x12 x22 1 0,
f ( x ) wi gi ( x ) v j h j ( x ) 0
wi 0, i 1,..., m
wi gi ( x ) 0, i 1,..., m
当 i I ( x ) 时， gi ( x ) 0，可知， wi 0,
wig ( x ) 0(i I ( x )) 自然消失。
得到
i 1
x1 3
1
1
0

1 2 3 0
1
0
1
x2 3
K-T点计算：不知道 x
的位置
一、最优性条件
x1 3
1
1
0

1 2 3 0
最优性条件
一
约
束
优
化
五
二
可行方向法
三
罚函数法
四
乘子法
二次逼近法
一、最优性条件
约束优化问题的分类
min f x
xR n
s.t.
gi x 0, i I 1,
, me ,
hi x 0, i E me 1,
等式约束问题
不等式约束问题
一、最:
由1 (4 x1 x2 ) 0 可得 1 0
1 2 3 2 3
与2 0 矛盾。
( 2) 若 x1 0 , x2 0 :
3 0
x1 1 2 3
f x wi gi x 0
gi x d 0
wi 0, w 0
T
T
无解
一、最优性条件
一般约束优化的二阶最优性条件
(二阶必要条件) 若目标函数和约束函数二阶连续可微，
m
l
i 1
j 1
L( x, w, v) f ( x) wi gi ( x) v j h j ( x)
一、最优性条件
min f x
事实上，对于不等式约束优化问题，
s.t.
在点 x 处，下降方向需满足
gi x 0, i I
f x d 0
T
可行方向需满足 gi x d 0
T
若 x 为局部极小值点，则在该点处一定不存在可行下降方
向，即
Gordan引理
f x d 0
1
0
1
x1 3
f ( x) 2
, g1 ( x) 1 , g 2 ( x) 0 , g3 ( x) 1 ,



x2 3
由K-T条件
3
f ( x ) i gi ( x ) 0,
2 x1 0
3 x2 0
g1 ( x) 4 x1 x2 0
g2 ( x) x1 0
g3 ( x) x2 0
再加上问题本身的约束条件
x1 x2 4 0, x1 0, x2 0
(1 3)
联立(1-1),(1-2)和(1-3),求x和相应的乘子
x
O
一、最优性条件
如果 x 是不等式约束问题的局部最小点，那么仍是
该问题不考虑在 x 处的非积极约束后新问题的局部
极小值点；
非积极约束不重要，可以在最优性条件中忽略这些
非积极约束；
在局部最小点处，积极约束可以转化为等式约束进
行处理；
min
f x
min f x
s.t.
gi x 0, i I ,
xR n
s.t.
gi x 0, i I 1,
, me ,
hi x 0, i E me 1,
, m .
可行域：D { x | g ( x) 0, h( x) 0}, 其中的元素可行点；
设可行解 x D, 若 gi ( x ) 0，则称不等式约束gi ( x ) 0
wi gi ( x ) 0, i 1,..., m
x L( x* , w* , v* ) 0.
m
l
w* 0, v* R l
L( x, w, v) f ( x) wi gi ( x) v j h j ( x)
wi gi ( x ) 0
i 1
j 1
拉格朗日函数
一、最优性条件
目标函数的梯度
正交于一阶可行变分子空间，即
V ( x ) x h j ( x)x 0, j 1, , l
l
f ( x ) v j h j ( x ) 0
j 1
一阶可行变分子空间是指由变分
构成的子空间，这些
变分使得约束函数展开到一阶时，在向量 x x x 处仍
y V ( x ) x h j ( x )T x 0, g i ( x )T x 0, i I
有
yT 2xx L( x , w, v) y 0
(二阶充分条件) 若目标函数和约束函数二阶连续可微，
y V ( x )
yT 2xx L( x , w, v) y 0 则 x
定理 (等式约束一阶必要条件) 考虑等式约束优化问题, x 为
可行点，f (x) 在 x 处可微, hj (j=1,…,l)在 x 处连续可微，向量
集 h j ( x ) j 1, , l 线性无关。若 x 是等式约束问题的局部最
优解，则存在数 v j ( j 1, , l ) ，使得
代入法（消元法）
g ( x, y) 0 y ( x)
拉格朗日乘子法
F f ( x, y) g ( x, y)
z f ( x, ( x))
一、最优性条件
推广到多元函数，多等式约束问题
min f ( x)
s.t. h j ( x) 0, j 1, 2,..., l
gi (x) (i I ( x )) 在 x 处连续, hj (j=1,…,l)在 x 处连续可微
向量集 gi ( x ), h j ( x ) i I ( x ), j 1,
, l 线性无关。
若 x 是局部最优解，则存在数wi (i I ( x )) 和 v j ( j 1,
cos t
f ( x x) f ( x )
可推广至非


b
b
线性约束
拉格朗日乘子为最优目标费用随约束的增长而递减的变化率。
l
多个线性约束情形： cos t i bi o( x )
i 1
一、最优性条件
不等式约束优化问题的最优性条件
min f x
s.t.
xR
n
hi x 0, i E.
xR n
gi x 0, i I ( x ),
hi x 0, i E
一、最优性条件
一般约束优化的一阶最优性必要条件
定理 (一阶必要条件) 考虑一般约束优化问题 , x 为可行点