最优化方法概述
2016年11月
主要内容
一最优化方法引论
二无约束优化方法
三约束最优化问题的最优性理论
一、最优化方法引论
1. 其中
称为决策变量，
2. 称为目标函数，
3.上述问题的解称为最优解，记为 ，
无约束优化问题
(1.1)
约束最优化问题
1.其中s.t. 是“subject to”的缩写，意为“满足于”，
2.
称为目标函数，
3.
称为约束函数，
4.和分别称为等式约束和不等式约束。
以上是最优化问题的一般形式，其他形式的最优化问题均可以变换成此种形式。
(1.2)
最优化问题的分类
根据变量的取值是否连续，最优化问题可分为：
a.连续最优化问题
b.离散最优化问题
根据连续最优化问题中函数是否连续可微，连续最优化问题又可分为：
a.光滑最优化问题：所有函数，包括目标函数与约束函数均连续可微。
b.非光滑最优化问题：只要有一个函数不是连续可微，该问题即为非
光滑最优化问题。
约束优化问题又分为目标函数和约束函数均为线性函数的线性规划问题和目标函数或约束函数中至少有一个是非线性函数的非线性规划问题。
最优化方法的主要内容
1. 最优化方法是指用科学计算的方法来求解问题（1.1）或问题（1.2)的方法。
2.一般来说通过计算得到的解是近似解，而非问题的精确解.
3.随着科学与技术的发展，现代的最优化问题具有如下特点：维数高，规模
大，问题复杂，具有非线性性等.
4.构造算法的时候，需要考虑下面两个问题：
a、有效性. 一个好的算法要尽可能地使用尽量少的计算机时间和尽量少的计算机空间.
b、精确性. 计算问题本身的属性和计算机的舍入误差都会对计算解的精确性产生影响. 欲考虑计算解的精确性问题，就要对问题进行敏度分析，建立数值稳定的算法.
二、无约束优化方法
记号说明
若无特殊说明，我们总假定目标函数的一阶导数存在，当算法要求的二阶导数时二阶导数存在，并记：
其中与分别为在点处的梯度向量与Hesse矩阵.
最优解的类型
全局最优解：若对任意，则称为问题(1.1)的全局最优解；若对任意
则称为问题(1.1)的严格全局最优解.
局部最优解：对，若存在，使对任意，当
时时，有，则称为问题(1.1)的局部最优解；若对任意，有
，则称为问题(1.1)的严格局部最优解.
下面介绍的算法都是求局部解的算法。
最优性条件
一阶必要条件: 设，的一个局部极小点，则
二阶必要条件: 设，的一个局部极小点，则
半正定.
二阶充分条件，设，在点有，则当
正定时，的严格局部极小点.
稳定点及其种类
满足的点称为稳定点，由最优性条件可知，函数的极小点一定是稳定点，反之则不然。
无约束最优化算法的基本结构
步1 给定初始点
步2 若在点终止准则满足，则输出有关信息，停止迭代；
步3 确定在点的下降方向
步4 确定步长，使较之有某种意义的下降;
步5 令转步2
构成最优化方法的基本要素有二：其一是下降的方向，其二是步长.
终止准则
算法的另一个重要问题是迭代的终止准则. 因为局部极小点是稳定点，我们可用：
作为终止准则。
这样对于使用者来说，就存在着一个选择的问题. 上述准
则有一定的局限性. 例如对于在极小点领域内比较陡峭的函数，即使该领域中的点已经相当接近极小点，但其梯度值可能仍然较大，从而使迭代难以停止。
其他终止准则有：
或者
收敛性与收敛速度
若一个算法产生的点列在某种范数意义下满足：
我们称这个算法是收敛的.
进一步，如果从任意初始点出发，都能收敛到，那么称这样的算法
具有全局收敛性；而称仅当初始点与充分接近时才收敛到的算法具有局部收敛性.
收敛算法的收敛速度分以下几种情形：
线性收敛：若
当时，迭代点列的收敛速度是线性的，这是称算法是
线性收敛的。
超线性收敛：在上式中，当时，迭代点列的收敛速度是是超线性的，这时称算法是超线性收敛的.
二阶收敛：若
其中为任意常数，迭代点列的收敛速度是二阶的，这时称算法
是二阶收敛的。
线搜索准则
在当前迭代点，假定我们已得到下降方向，求步长的问题为一
维搜索或线搜索问题，它包括两个内容：
1.满足什么样的准则，步长可以接受？
2.有了合适的准则，满足该准则的步长该如何求？
精确线搜索：
非精确线搜索Armijo准则：
Goldstein准则：
其中
Wolfe 准则：
其中
最速下降法
假定第k步已得迭代点，我们可以得到使下降最快的方向为：
通常也称负梯度方向为最速下降方向。
一般地，称以负梯度方向为迭代
方向的方法为负梯度方法。
特别地，称采用精确搜索的步长，以负梯度，方向为迭代方向的方法为最速下降（Steepest Descent，SD）方法。
这个方法的计算步骤如下：
步1 给出
步2 若终止条件满足，则迭代停止；
步3 计算
步4 一维精确线搜索求
步5 转步2
最速下降法的收敛速度是线性的。
Newton方法
设具有连续的二阶偏导数，当前迭代点是在处的
Taylor展式为：
其中 . 在点的邻域内，用二次函数
近似 . 求解问题
（2.1）
若正定，则方程组
（2.2）
的解为问题（2.1）的唯一解. 我们称方程组（2.2）为Newton方程，由方程组（2.2）得到的方向为Newton方向. 用Newton方向作为迭代方向的最优化方法称为Newton方法.
Newton 方法的收敛性定理
定理（基本Newton方法的收敛性）设的Hesse 矩阵满足Lipschitz条件，即存在 , 对任给的与有
. 若充分接近的局部极小点
，且正定，则Newton方法对所有的有定义，并以二阶收敛
速度收敛.
拟Newton方法
Newton方法的缺点是：在每步迭代时需计算Hesse矩阵，为此要计算个二阶偏导数；若该方法产生的迭代点不能充分接近极小点，的正定性不能保证. Newton方法的优点在于它具有二阶收敛的速度. 这
促使我们去考虑是否可以构造一种方法，它既不需要计算二阶导数，又具有较快的收敛速度.
假定当前迭代点为，若我们用已得到的及其一阶导数信息
和构造一个正定矩阵作为的近似，这样下降方向
由方程组
给出. 然而这样做仍需求解一个线性方程组. 进一步改进为用相同的信息构
造一个矩阵作为的近似，这样下降方向就可以由
决定.
共轭梯度方法Conjugate gradient method
共轭梯度方法是利用函数的一阶导数信息建立起来的方法。
因为该方法在每步迭代中所需的计算量和存储量比Newton型方法少，所以它已经被广泛应用于求解大规模最优化问题。
二、约束最优化问题的最优性理论
约束最优化问题
我们称仅含等式约束的问题为等式约束最优化问题，仅含不等式约束的最优化问题为不等式约束优化问题。
我们总假定
连续可微；对任意约束最优化问题，记
可行域
对约束最优化问题（3.1），满足约束条件的点称为可行点，所有可行点的集合称为可行域，记为
约束优化问题就是在可行域上求目标函数极值的问题，问题（3.1）可表示为
约束优化问题的局部解与全局解
对一般约束优化问题（3.1）, 若，存在
时，有
则称为问题（3.1）的局部解；若，存在
时，有
则称为问题（3.1）的严格局部解
对一般约束优化问题（3.1），若，有
则称为问题（3.1）的全局最优解；若，有
则称为问题（3.1）的严格全局最优解
起作用约束
在点若，则称该约束为在点的起作用约束、积极约
束或有效约束；若，则称该约束为在点的不起作用约束，
非积极约束或非有效约束.
我们用表示处起作用不等式约束下标集合：
显然，等式约束都是起作用约束。
在点处的起作用约束下标集合记为
或者。
特别地，记
在局部最优解处，若已知，则不起作用约束都可以省略。
显然
是不知道的
凸规划问题
设为凸函数，为凹函数，则称
为凸规划问题
等式约束等价于两个不等式约束和定理凸规划问题的局部最优解必为全局最优解。
两种可行方向
定义设为问题（3.1）的可行点，存在可行点列有
记
其中，因为，所以若，则
称为可行方向点列，为处的可行方向. 记为处全体
可行方向组成的集合。
定义设为问题（3.1）的可行点，定义
为在处的线性化可行方向集合，元素为线性化可行方向。
定理：
一阶必要条件
定义
为在处的下降方向集合，其中元素称为处的下降方向。
正则性假设为
定理（一阶必要性条件）若为问题(3.1) 的局部最优解，则
一阶必要条件
定理若为问题（3.1）的局部解，且在处正则性假设成立，则存在
Lagrange 乘子使得满足
其中
为Lagrange函数
谢谢！Thank you！。