1. 最优化技术的理论基础
1.4 Lagrange乘数法
在许多极值问题中，函数的自变量往往要受到一些条件的限制，其
一般形式是在条件
限制下，求函数 的极值。
条件极值与无条件极值的区别：条件极值是限制在一个子流形上的
极值，条件极值存在时无条件极值不一定存在，即使存在二者也不一定 相等。
Title in here
对分法
1.8.1.2 对分法迭代步骤 已知 (t ) ， (t ) 表达式，终止限 ． (1)确定初始搜索区间 [a, b，要求 ] '(a) 0， '(b) 0 (2) 计算[a, b] 的中点 c 1 (a b) ． 2 a c ( c ) 0 (3) 若 ，则 ，转(4)； 若 (c) 0 ，则 t * c，转(5)； 若 (c) 0 ，则 b c ，转(4)． (4) 若| a b | ，则 t * 1 (a b) ，转(5)；否则转(2)． 2 * (5) 打印t ，停机．
然后用这条切线与横轴交点的横坐标t k 1作为根的新的近 似（如图）．它可由方程（4.4）在令 y 0 的解出来， 即 (t k )
t k 1 t k
(t k )
这就是Newton切线法迭代公式．
Newton切线法
1.8.2.2 Newton切线法迭代步骤 已知 (t ) ， (t ) 表达式，终止限 ． (1) 确定初始搜索区间 [a, b] ，要求 '(a) 0， '(b) 0 (2) 选定 t 0 ． (3) 计算t t0 '(t0 ) / "(t0 ) ． (4) 若| t t 0 | ，则 t 0 t ，转（3）；否则转（5）． (5) 打印t， (t ) ，停机．
者使最终迭代点与理论极小点之间的距离足够小时才终止迭 代．但是这在实际上是办不到的．因为对于一个待求的优化
问题，其理论极小点在哪里并不知道．所知道的只是通过迭 代计算获得的迭代点列，因此只能从点列所提供的信息来判
断是否应该终止迭Biblioteka ．1. 最优化技术的理论基础
对于无约束优化问题通常采用的迭代终止准则有以 下几种： ① 点距准则 ② 函数下降量准则 ③ 梯度准则 1.7 步长的确定 步长因子的选取有多种方法，如取步长为常数，但 这样选取的步长并不最好，如何选取最好步长呢？实际 计算通常采用一维搜索来确定最优步长． 1.8 常见的一维搜索方法有： § 对分法 § Newton切线法 § 黄金分割法 Title in § 抛物线插值法 here
开始
'(a) 0， '(b) 0
c=(a+b)/2
确定[a b],要求
(c) 0
N
对分
法计 算流 程图
T*=c t*=(a+b)/2 输出t* 结束 Y
Y a=c
(c) 0
N
b=c
Y
| a b |
N
对分法有关说明
对分法每次迭代都取区间的中点
a. 若这点的导数值小于零，说明的根位于右半区间中，因
1.8.1 对分法
1.8.1.1 对分法基本原理
• 求解一维最优化问题 min (t ) 一般可先确定它的一个有限 min (t ) ，然后通 搜索区间[a, b] ，把问题化为求解问题 a t b 过不断缩短区间的长度，最后求得最优解．
对分法
设 ：R1 R1 在已获得的搜索区间 [a, b] 内具有连续的一 阶导数．因为 (t )在[a, b] 上可微，故 (t ) 在[a, b] 上连续， 由此知 (t )在[a, b] 上有最小值． 令 (t ) 0 ，总可求得极小点 t * ．不妨设 (t ) 在(a, t * ) 上是单减函数；在 (t * , b) 上是单增函数．所以t (a, t * ) (t ) 0 时， (t ) 0 ，故 (a) 0 ；当 t (t * , b) 时， 亦即 (b) 0 ． 对分法的原理如图．
1. 最优化技术的理论基础
Title in here
1. 最优化技术的理论基础
1. 最优化技术的理论基础
1.5 最优化问题的迭代解法
在经典极值问题中，解析法虽然具有概念简明,计算精确等优点，
但因只能适用于简单或特殊问题的寻优,对于复杂的工程实际问题通常无
能为力，所以极少使用。
最优化问题的迭代算法是指：从某一选定的初始点出发，根据目标
at b
• 因为 (t ) 在 [a, b] 上可微，故 (t ) 在 [a, b] 上有最小值， 令 (t ) 0 ．
Newton切线法
下面不妨设在区间[a, b] 中经过 k 次迭代已求得方程 (t ) 0 的一个近似根 t k ．过 (t k , (t k )) 作曲线 y (t ) 的 切线 ,其方程是 y (tk ) (tk )(t tk ) 4.4
函数、约束函数在该点的某些信息，确定本次迭代的一个搜索方向和适 当的步长，从而到达一个新点，用式子表示即为
Title in here
1. 最优化技术的理论基础
1.6 计算终止准则 用迭代方法寻优时，其迭代过程总不能无限制地进行下
去，那么什么时候截断这种迭代呢？这就是迭代什么时候终
止的问题． 从理论上说，当然希望最终迭代点到达理论极小点，或
1.8.2 Newton切线法说明
这种方法一旦用好，收敛速度是很高的．如果初始点选得适当，通 常经过几次迭代就可以得到满足一般精度要求的结果.但是它也有缺点： 需要求二阶导数．如果在多维最优化问题的一维搜索中使用这种方法， 就要涉及Hesse矩阵，一般是难于求出的． 当曲线 y (t ) 在 [a, b] 上有较复杂的弯曲时，这种方法也往往失效．如 图 (a)所示迭代： t0 t1 t2 , 结果t 2 跳出 [a, b] .迭代或者发散，或者找到的根 并不是我们想要的结果． 即使曲线比较正常，在 [a, b] 中或者上凹或者下凹，初始点的选取也必 须适当．在图（b）的情况下，曲线上凹，应选点b作为初始点；而在图 （c）的情况下，曲线下凹，应选点a为初始点．否则都可能失败．
此去掉左半区间； b. 若中点导数值大于零，则去掉右半区间； c. 若中点导数值正好等于零，则该点就是极小点．
因为每次迭代都使原区间缩短一半，所以对分法又称 为二分法．
1.8.2 Newton切线法
1.8.2.1 Newton切线法基本原理
: R1 R1 在已获得的搜索区间[a, b] 内具有连续二阶 • 设 导数，求 min (t ) ．
1. 最优化技术的理论基础
1.3 极值理论
一元函数的极值问题
判断极值条件：设函数f(X)在点x0处具有二阶导数f"(x0)。 若f'(x0)<0，则f(x0)为函数的极大值；
若f‘(x0)>0，则f(x0)为函数的极小值。 二元函数极值
对于三元以上函数的极值通常采用二次全微分d
2
f ( P0 )判定
1.最优化技术的理论基础
1.1 最优化的起源 任何一项工程或一个产品的设计，都需要根据设计要求， 合理选择方案，确定各种参数，以期达到最佳的设计目标， 如重量轻、材料省、成本低、性能好、承载能力高等。优化 设计正是根据这样的客观需求而产生并发展起来的。 1.2 最优化的优点 优化设计的理论基础是数学规划，采用的工具是电子计算机。 因此它具有常规设计所不具有的优点。 能使各种设计参数自动向更优的方向进行调整，直至找到 一个尽可能完善的或最合适的设计方案。 在很短的时间能就可以分析一个设计方案，并判断方案的 优劣和是否可行，因此可以从大量的方案中选出更优的设计 Title in 方案。 here
开始
选定 t0,确定[a b],要 ' 求 ( a ) 0, (b) 0
Newton
切线法 计算流 程图
t t 0 ' ( t 0 ) / '' ( t 0 )
t t0
Y
N
t0 t
t * t0 , * (t0 )
t* , *
输出
结束