由此可见：
当f ' x* 0时，函数f x 是单调上升；当f ' x* 0时，函数
函数f x是单调上升；
当f ' x* ＝0时，若f '' x* 0，则x*为极小点，若f '' x* 0，则x*为极大点
微分学中求极值
• 二元函数的极值
(1)二 元 函 数 的 台 劳 展 开 式
( 4 ) 二 元 函 数 极 值 的 充 分 条 件 定 理 ： 二 元 函 数 f(X )存 在 极 值 点 的 充 分 条 件 是 ： 梯 度 g f(X )＝ 0 。 且 A 2f(X ) 正 定 ， 则 有 极 小 点 。 反 之 ， 则 有 极 大 点 。
无约束最优化问题
• 由上一节可知，对于无约束最优化问题，其数学模型中只有目标函 数
f ' (x) 0
这里有个前提，即函数 f ( x ) 在设计区间要连续可导。凡是满足 上述的点都叫函数 f ( x ) 的驻点。我们可知驻点并不完全是极值 点，它还有拐点，当然，极值点必定是驻点。因此，还必须有判 别函数极值的更充分条件。
微分学中求极值
充分条件：
当函数的一阶导数f '(x)0,二阶导数f '' x0,并且 1）f '' x0时，函数f (x)取极大值，有极大值点； 2）f '' x0时，函数f (x)取极小值，有极小值点；
经典最优化方法优秀课件
内容介绍
微分学中求极值 无约束最优化问题 常用微分公式 凸集与凸函数 等式约束最优化问题 不等式约束最优化问题 变分学中求极值
微分Байду номын сангаас中求极值
• 一元函数的极值 1.一元函数极值的求法与判别 必要条件： 设函数 f ( x ) 在点 x 0 处具有导数，且在x 0 处 f ( x )取得极值，则该函数 f ( x )在 x 0 处的导数
等式约束最优化问题
1.消元法 消元法就是将等式约束最优化问题转化为无约束最优化问题的一种最为简单的方法， 这里以二维为例，对其方法加以说明： 已知问题的数学模型为 Smi.tn.gf((xX1,)x＝2)f(x01,x2) 先由约束方程g(x1,x2)＝0，解出x2 h(x1),即消去x2； 然后把所得的表达式代入目标函数中，便可得到无约束的极值问题 minf (X)min f (x1,h(x1))
故台劳展开式也可写成
f ( X ) f ( X *) gT X 1 X T AX 2
微分学中求极值
(2)梯 度 与 方 向 导 数
梯 度 的 定 义 ： 梯 度 是 函 数 f(X)的 一 阶 偏 导 数 组 成 的 向 量 。 记 为 ： g f(X)f X
梯 度 g在 x1方 向 上 的 投 影 ， 即 g在 x1方 向 上 的 分 量 ， 就 是 函 数 f(X)在 x1方 向 的 偏 导 数 ， 即 函 数 在 x1方 向 的 变 化 率 。
找出函数的极值点，函数的极值自然容易计算出来。
微分学中求极值
2.在 x *附 近 展 成 台 劳 极
f x f x* f ' x* x 1 f '' x* x2 2!
.
=f
x* f '
x* x 1 f ''
x* x2
2!
.
= f x* f ' x* x
minf ( X )
XEn
采用解析法求解，其求解过程可以归结为一下三个步骤： 1.令梯度g=0，解出各个驻点。 2.计算各驻点的矩阵 A,判断矩阵A正定或负定，得到相对应的极小点
或极大点； 3.计算极值。
常用微分公式
对于多元函数，在求解运算过程中，常用到以下微分公式： 1.C＝ 0 式 中 C为 常 数 ；
微分学中求极值
(3)赫森矩阵（Hesse）
定义：赫森矩阵，是二阶偏导数矩阵，且是2×2对称方阵 ，用记号A代表 A2f(X)X 2f2 性质：1.A是目标函数的二阶偏导数，是梯度的一阶偏导数。
2.A是对称方阵。 3.A为正定的条件是：各阶主子式大于零。 4.若矩阵A正定，则二次型XTAX0，若矩阵A负定，则二次型XTAX0
由梯度与方向导数的概念，我们可以得到：
1.函数f ( X )在该点沿方向的方向导数等于梯度g沿方向的
投影。 2.梯度g在自身方向上的投影最大，最大值为 g .因而，函数 f (x)沿梯度方向上升最快。 3.梯度g在与自身垂直的方向上投影为0, 所以函数沿与梯度 垂直方向变化最慢，变化率为0； 4.与梯度成锐角方向，函数是上升的；与梯度成钝角方向， 函数是下降的。
等式约束最优化问题
2 . 拉 格 朗 日 乘 子 法 消 元 法 的 特 点 在 于 改 写 约 束 条 件 ， 消 除 约 束 方 程 。 但 是 ， 当 等 式 约 束 是 多 维 ， 高 次 或 非 线 性 时 ， 这 种 方 法 就 显 得 十 分 烦 琐 。 拉 格 朗 日 乘 子 法 是 引 进 一 个 代 定 系 数 ， 构 造 一 个 新 的 无 约 束 条 件 的 目 标 函 数 ， 而 使 数 学 变 换 过 程 简 化 。 这 里 也 以 二 维 为 例 。
0为 n维 0向 量 ； 2. B＝ 0 式 中 B为 n维 常 向 量 ；
0为 n*n阶 矩 阵 ； 3. BTX＝ B 式 中 B为 n维 常 向 量 ；
X为 n维 变 向 量 ； BTX为 标 量 4. (X T X )＝ 2X； 5. (X T Q X )＝ 2QX； 6. X=I；
凸集与凸函数
f (X)
f
(
X
*
)
f X
*
T
X
1 X T 2
2 X
f
*2
X
其中
T
g f (X ) f X
f x1
,
f x2
叫梯度，是一阶偏导向量。
A
2
f
(X
)
2 f X 2
2 f x12
,
2 f x1x2
叫赫森矩阵，是二阶偏导向量，对称方阵。
2 f x1x2
,
2 f x22
凸集与凸函数
凸集与凸函数
凸集与凸函数
凸集与凸函数
凸集与凸函数
凸集与凸函数
凸集与凸函数
凸集与凸函数
凸集与凸函数
凸集与凸函数
凸集与凸函数
等式约束最优化问题
等式约束最优化问题的数学模型式
minf (X )
S
.t.g i
(
x)
0
X En
i 1,2,...,m
这里介绍两种比较常用的方法：消元法和拉格朗日乘子法。
方 向 导 数 的 定 义 ： 二 元 函 数 f(X)沿 任 意 方 向 取 长 度 为 X 的 点 ， 该 点 的 函 数 的 极 限
limf(x1 x1,x2 x2)f(x1,x2)
0
存 在 ， 就 称 极 限 值 为 函 数 f(X)在 该 点 沿 方 向 的 方 向 导 数
微分学中求极值