非线性规划模型 在上一次作业中，我们对线性规划模型进行了相应的介绍及优缺点，然而在实际问题中并不是所有的问题都可以利用线性规划模型求解。

实际问题中许多都可以归结为一个非线性规划问题，即如果目标函数和约束条件中包含有非线性函数，则这样的问题称为非线性规划问题。

一般来说，解决非线性的问题要比线性的问题难得多，不像线性规划有适用于一般情况的单纯形法。

对于线性规划来说，其可行域一般是一个凸集，只要存在最优解，则其最优解一定在可行域的边界上达到；对于非线性规划，即使是存在最优解，却是可以在可行域的任一点达到，因此，对于非线性规划模型，迄今为止还没有一种适用于一般情况的求解方法，我们在本文中也只是介绍了几个比较常用的几个求解方法。

一、非线性规划的分类 1无约束的非线性规划
当问题没有约束条件时，即求多元函数的极值问题，一般模型为
()min 0
x R
f X X ∈⎧⎪⎨
≥⎪⎩ 此类问题即为无约束的非线性规划问题
1.1无约束非线性规划的解法 1.1.1一般迭代法
即为可行方向法。

对于问题()min 0x R
f X X ∈⎧⎪⎨
≥⎪⎩
给出)(x f 的极小点的初始值)0(X ，按某种规律计算出一系列的
),2,1()( =k X k ，希望点阵}{)(k X 的极限*X 就是)(x f 的一个极小点。

由一个解向量)
(k X
求出另一个新的解向量)1(+k X
向量是由方向和长度确定的，所以),2,1()1( =+=+k P X X k k k k λ
即求解k λ和k P ，选择k λ和k P 的原则是使目标函数在点阵上的值逐步减小，即
.)()()(10 ≥≥≥≥k X f X f X f
检验}{)(k X 是否收敛与最优解，及对于给定的精度0>ε，是否
ε≤∇+||)(||1k X f 。

1.1.2一维搜索法
当用迭代法求函数的极小点时，常常用到一维搜索，即沿某一已知方向求目标函数的极小点。

一维搜索的方法很多，常用的有：
（1）试探法（“成功—失败”，斐波那契法，0.618法等）； （2）插值法（抛物线插值法，三次插值法等）；
（3）微积分中的求根法（切线法，二分法等）。

考虑一维极小化问题
)(min t f b
t a ≤≤
若)(t f 是],[b a 区间上的下单峰函数，我们介绍通过不断地缩短],[b a 的长度，来搜索得)(min t f b
t a ≤≤的近似最优解的两个方法。

通过缩短区间],[b a ，逐步搜
索得)(min t f b
t a ≤≤的最优解*t 的近似值
2.1.3梯度法
选择一个使函数值下降速度最快的的方向。

把)(x f 在)
(k X
点的方向导数最小
的方向作为搜索方向，即令)(k
k
X f P -∇=.
计算步骤：
（1）选定初始点0X 和给定的要求0>ε，0=k ；
（2）若ε<∇||)(||k
X f ，则停止计算，k
X X =*，否则)()
(k k X f P
-∇=；
（3）在)
(k X
处沿方向)
(k P
做一维搜索得1,)
1(+=+=+k k P X X
k k k k 令λ，返
回第二步，直到求得最优解为止.可以求得：
.)()()()
()()
()()()()(k k T k k T k k X f X H X f X f X f ∇••∇∇•∇=λ ,))(,,)(,)(()()(2)(1)()
(T
n
k k k k x X f x X f x X f X
f ∂∂∂∂∂∂=∇
⎥⎥⎥⎥⎥⎥
⎥
⎥⎥⎦
⎤
⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂=n n k n k n k n k k k n k k k k x x X f x x X f x x X f x x X f x x X f x x X f x X f x X f x X f X H )(,,)(,)()(,,)(,)()(,,)(,)()()(2)(1)(2)
(22)(12)()(2)(1)()(
2.1.4共轭梯度法
2.1.5牛顿法 对于问题：
由,0)(=+=∇B AX X f 则由最优条件,0)(=∇X f 当A 为正定时，1
-A 存在，于是有
B A X 1*--=为最优解
2.1.6拟牛顿法
对于一般的二阶可微函数)(X f ，在)(k X 点的局部有
))(()(2
1
)()()()()()(2)()()()(k k T k k T k k X X X f X X X X X f X f X f -∇-+-∇+≈
当)()(2k X f ∇正定时，也可用上面的牛顿法，这就是拟牛顿法。

计算步骤：
（1）任取n E X ∈)1(，;1=k
（2）计算)()(k k X f g ∇=，若0=k g ，则停止计算，否则计算
)()()(2k k X f X H ∇=，令k k k k g X H X X 1)1())((-+-=；
（3）令1+=k k ；返回（2）
2有约束的非线性规划
2.1非线性规划的最优性条件
若*X 是非线性问题中的极小点，且对点*X 有效约束的梯度线性无
关，则必存在向量()****
12
,,,T
m γγγΓ=使下述条件成立：
()()()***1
**
*
00,1,2,,m 0,1,2,,m m
j j j j j j f X g X g X j j γγγ=⎧∇-∇=⎪
⎪⎪∇==⎨⎪≥=⎪⎪⎩
∑ 此条件为库恩-塔克条件（K-T 条件），满足K-T 条件的点也称为K-T
点。

K-T 条件是非线性规划最重要的理论基础，是确定某点是否为最优解的必要条件，但不一定是充要条件。

对于凸规划它一定是充要条件。

2.2非线性规划的可行方向法
由于线性规划的目标函数为线性函数，可行域为凸集，因而求出的最优解就是整个可行域上的全局最优解。

非线性规划却不然，有时求出的某个解虽是一部分可行域上的极值点，但并不一定是整个可行域上的全局最优解。

假设()k
X 非线性规划问题中的一个可行解，但不是最优解，为了进
一步寻找最优解在它的可行下降方向中选取其中一个方向()k
D ，并确定
最佳步长k λ，使得
()()()()()()
()
11,0,1,2,.k k k k k k X X D R k f X f X λ++⎧=+∈⎪
=⎨<⎪⎩
反复进行这一过程，直到得到满足精度要求为止，这种方法称为可
行方向法，也称迭代法。

2.3有约束非线性规划的解法 2.3.1外点法
（1）对于等式约束问题
⎩⎨
⎧==,,2,1,0)(),
(min m i x h X f i
做辅助函数
)()(),(121X h M X f M X P m
j j ∑=+=
如果最优解*X 满足或近似满足,),,2,1(0
)(*m j X h i ==则*X 就是问题的
最优解或近似解
（2）对于不等式约束问题 做辅助函数
∑=+=m
j j X g M X f M X P 122)}](,0[min{)(),(
求),(min 2M X P X
.
（3）对于一般问题 做辅助函数
)()(),(3X MP X f M X P +=
∑∑==+=m
j j m j j
X g M X h M X P 1
22
1
2)}](,0[min{|)(|)(
求解),(min 3M X P X
2.3.2内点法
内点法是在可行域内进行得，并一直保持在可行域内进行搜索，只适用于不等式约束的问题
辅助函数：
)()(),(X rB X f r X Q +=
X 趋于R 的边界时，使)(X B 趋向于正无穷，)(X B 的常用形式
∑∑
====m
j j m
j j X g X B X g X B 1
1)]([ln -)()
(1
)(和
求解},,2,1,0)(|{)
,(min 00
m j X g X R r X Q j R X =>=∈
算法
优点
缺点
梯度法
计算量小，存储变量较少,初始点要求不高
初值依赖，收敛慢，最速下降法
适用于寻优过程的前期迭代或作为间插步骤，越接近极值点时，收敛熟读越慢，后期宜选用收敛快的算法
牛顿法
收敛速度很快
当维数较高时，计算的工作量很大，初值依
赖，当初值选择不好时，有可能计算出现异常，导致迭代无法进行，该法
需要修正
拟牛顿法
收敛速度快，避免牛顿矩阵求逆运算，算法更稳定
初值依赖程度相对牛顿法减弱，
但仍然存在。