最优化方法一、引言最优化理论与方法是一门应用性很强的年轻学科。

它研究某些数学上定义的问题的最优解，即对于给出的实际问题，从众多的方案中选出最优方案。

虽然最优化可以追朔到十分古老的极值问题，然而，他成为一门独立的学科诗在上世纪40年代末，是在1947年Dantzing 提出求解一般线性规划问题的单纯型法之后。

现在，解线性规划、非线性规划以及随机规划、非光滑规划、多目标规划、几何规划、整数规划等各种最优化问题的理论的研究发展迅速，新方法不断出现，实际应用日益广泛。

在电子计算机的推动下，最优化理论与方法在经济计划、工程设计、生产管理、交通运输等方面得到了广泛应用，成为一门十分活跃的学科。

现在大多数有代表性的最优化算法已有可以方便使用的软件包，如lindo\lingo 优化软件包。

但有效利用这些成果是以有待解决的问题已被模型化成最优化问题的形式为前提的。

要做到这点，要有深刻的洞察力和综合能力，这需要掌握最优化算法的结构和特点，并与专业知识的结合和兼蓄。

最优化有着丰富的内容和方法，本课我们主要介绍线性规和非线性规划的主要方法与理论他们是最优化理论的重要分支，也是最基本的部分。

第一部分：线性规划第一章：单纯型法第一节问题的引出: 例1：某制造公司需要生产n 种产品，生产这n 种产品需要m 种不同的原材料，第i（i=1,2,.....m.。

）种原材料的拥有量为b i 。

实际情况很复杂，我们将其简化或理想化，只关注某个时间点的特定情况，第i 种原材料在某时间点的市场价格为ρi ，生产单位数量的第j 种产品需消耗第i 种原材料a ij 个单位。

第j 种产品在同一时间点上的市场价格为σj 。

考虑问题一：如何安排1，2，…….n 种产品的生产，从而使收益最大设第j 种的产量为j x 单位，第j 种产品的收益与市场销售价i σ有关，也与生产第j 种产品所消耗的原材料费用1mi ji i aρ=∑有关，因此第j 种单位产品的纯收入为1mj j ij i i c a σρ==-∑，全部纯收入jjc x∑，此时0j x ≥。

而我们不可能超出原材料的拥有量生产产品。

生产n 种产品时，所消耗的第i（i=1,2,.....m.。

）种原材料的总量为11221ni i in n ij jj a x a x a x a x =+++=∑11i nij j j b i m a x =≤ =∴ ∑综上所述，我们为达到收益最大，就建立了这样的数学规划问题：1122111221max .(1)01nj j n nj nij j i i in n i j j c x c x c x c x s t a x a x a x a x b x j n== =+++ =+++≤ ≥ =∑∑这是一个资源配制问题（资源分配问题），也是一个线性规划问题。

从另一种角度考虑上述问题：假若由于某种原因，该制造单位打算放弃这些生产项目，而另一家企业希望收购这些资源。

那么如何确定这m 种原材料的转让价格，同时照顾到买卖双方的利益使买卖有可能成交？设这m 种原材料的单位定价为ω1……ωm。

全部损失机会成本为1mi i i b w=∑，定价要不低于市场获利,即1,1mi i jj i w aj n σ=≥=∑。

令,1i i i y w i m ρ=-=是当前市场价格的提升价格，全部机会损失值变为11mi ii m i ij ji b y y a c y == ≥ ≥∑∑约束从卖方角度看，希望以尽可能低的价格收购这些资源，即总费用最小，于是得到min .(2)0i ii ij j b y s t y a c y ≥ ≥∑∑这两个角度考虑问题得到了两个线性规划问题（LP 问题） 前例问题中，有些变量决定了问题的最优值，称为决策变量，LP 问题中总是要求极大化或极小化由决策变量构成的线性函数，此函数称为目标函数。

第二节：线性规划问题的标准型（ｓｔａｎｄａｒｄｆｏｒｍ）A ．线性规划问题的标准型LP 的标准型是指如下形式的优化问题11min .(3)0,1nj jj nij j i j j c x s t a x b x j n== = ≥=∑∑例如（1）（2）都很容易化成标准型先看（1），引入变量1n n m x x ++，使1122i i in n n i i a x a x a x x b +++++= ，则有11121min ().,,,,,,0nj jj nij j n i ii n n n m c x s t a x x b x x x x x =+=++ - += ≥∑∑此时1n n mx x ++称为松弛变量。

对（2）1miji j i ay c =≥∑增加变量1m m n y y ++使1miji m j j i ay y c +=-=∑，此时1m m n y y ++称为剩余变量。

由此看任一个LP 问题都可以化为标准型（3）。

前面对不等式约束化成了等式约束再看决策变量：12120,,0,0j j j j j j j j j j j j jj jx x x x x x x x x x x x x x x ββαααβαβ ≤→=-≥ ≥→=-≥ ≤≤→≤≤ →=-≥≥若无限制一组取定的决策变量的值称为一个解。

在（3）中，记11{(),0,1}nTn ij ji j j S x x x a xb x j n ====≥=∑称为可行域。

1,n x x x Sx ⎛⎫⎪∀=∈ ⎪ ⎪⎝⎭称为（3）的一个可行解。

若存在*x S ∈使 x S ∀∈，都有*cx cx ≥，则称*x是（3）的最优解。

当Sφ=时，问题（3）无可行解，称（3）是不可行的。

如12121212min 54.29,0x x s t x x x x x x + +≤ -2-2≤- ≥ 。

另一种极端的情形是称为无界的情况，即对任意大的目标值都有解。

如12121212min 4.12,0x x s t x x x x x x -+ -2+≤- --2≤- ≥ ，解121(,)(,0)x x x =,112x ≥ 可以任意大。

B ．线性规划问题的图解法当3n ≤时的线性规划问题可以用图解法求其最优解。

例2：求解下列LP 问题12121212min 3.628,0x x s t x x x x x x -- +≤ -+≤ ≥例3：112121212max .6210,0z c x x s t x x x x x x =+ +≤ +≤ ≥试用图解法分析问题的最优解随11()c c -∞<<+∞，取值的不同的变化情况。

1111()()(1,1)()(1,1)()(1,1)(2,4)112112-f x f x AB f x BC f x B c c c c ∇ ∇= ∇= ∇= ==<<值对应的最优值点线段线段11()(1,1)(0,6)()(1,1)(0,6)121f x C f x A c c ∇= ∇= ∞<< <<+∞C ．线性规划的图表法（单纯形图表法）例4：123123123123123min 543.23542113428,,0x x x s t x x x x x x x x x x x x --- ++≤ ++≤ ++≤ ≥ 解：引入松弛变量将原问题化为标准形123123412351236126min 543.235425(4)3425,,,0f x x x s t x x x x x x x x x x x x x x x =--- +++ = ++ + = ++ += ≥观察到一个可行解123456(,,,,,)(0,0,0,5,11,8)x x x x x x =，此时0f =显然不是最小值。

当10c <是1x 的系数，当1x 改变时，f也改变。

当1x 变大，而23,x x 不动时，456,,x x x 也改变。

必须得保证4151615201140830x x x x x x =-≥=-≥=-≥，而又希望1x 尽可能大。

52411541125111831615201140830x x x x x x x x x x =-≥≤⎫⎫⎪⎪=-≥⇒≤⇒≤⎬⎬⎪⎪≤=-≥⎭⎭当521x ≤时，改进最大，且可以看出是否需继续改进。

做恒等变形。

这样得到改进解5122123456(,,,,,)(,0,0,0,1,)x x x x x x =，此时252f =-5214,0x x == 将14,x x 的位置互换，并将目标函数中的变量1x 用4x 替换。

2345212342452346min 12.5 3.50.5 2.5. 1.50.50.5(5)5210.50.5 1.50.5f x x x s t x x x x x x x x x x x =-+-+ +++ = - - + = -+- +=从目标函数看，此时3x 前的系数30.50c =<。

当3x 由0→∞时，目标函数能进一步得到改善。

当3:0x 时，第1和3个约束的数量发生改变，为保证各决策变量的非负性，需满足5213360.50.50.5x x x x +≥+≥，得521312630.500.50x x x x =-≥=-≥，即333511x x x ≤⎧⇒≤⎨≤⎩，3x 最大能由01→，此时60x =。

得到改善解123456(,,,,,)(2,0,1,0,1,0)x x x x x x =。

在（5）式中将3x 变为单位变量，且目标函数行视为同样地位化简。

得到24612462452346min 13322221321f x x x x x x x x x x x x x x =- + + + ++2 + -= -5 -+ = -+ - += 再看如何改善f ，由目标行看到246,,x x x 前的系数均为正，而246,,x x x 的取值已达到下界，所以f 已不能再获得改善，即达到最优。

其最优解是(2,0,1,0,1,0)，所求原问题的最优解为(2,0,1)，最优解min 13f =-。

总结：11min .(0)0min .0j jij j i i j nij j n i ij nj j j f c x s t a x b b x fs t a x x b f c x +==⇓= ≤ ≥ ≥ += -=∑∑∑∑标准化这时若有一初始可行解111(,,,,,)(0,,0,,,)n n n m m x x x x b b ++=，选目标行系数>0。

若k x ↗（当有多个时，选最大的）以改善目标函数值。

为保证可行性，需要满足1122000k k k k m mk k b a x b a x b a x ⎫-≥⎪-≥⎪⎬⎪⎪-≥⎭，由此解出kx 的取值，min 0k i r k ik r ik b b x a a a ⎧⎫⎪⎪==>⎨⎬⎪⎪⎩⎭。