矩阵论
2015年秋学期第八讲2015年10月14日
第4章梯度分析与最优化
矩阵论－梯度分析与最优化实变量函数无约束优化的梯度分析
2
矩阵论－梯度分析与最优化复变函数的平稳点和极值点条件3矩阵论－梯度分析与最优化无约束最小化问题的梯度分析——极值点的辨识
或
或
则z 0为严格局部最小点
4
矩阵论－梯度分析与最优化无约束最小化问题的梯度分析——闭式解梯度向量
5极大值/极小值？矩阵论－梯度分析与最优化无约束最小化问题的梯度分析——闭式解
与最小二乘解具有等效性
6
极大值/极小值？
矩阵论－梯度分析与最优化无约束最小化问题的梯度分析无约束最小化问题的梯度分析
7矩阵论－梯度分析与最优化无约束最小化问题的梯度分析—实值目标函数的最速下降方向以复矩阵为变元的实值目标函数的平稳点存在两种选择
在设计优化迭代算法时，应该选哪一种梯度？曲率定义
8
矩阵论－梯度分析与最优化无约束最小化问题的梯度分析—实值目标函数的最速下降方向9矩阵论－梯度分析与最优化无约束最小化问题的梯度分析—凸优化理论10
标准的约束优化问题
约束优化问题很难求解，决策变量x 很大，有很多局部解，收敛速度差，收敛的停止准则失败等。

矩阵论－梯度分析与最优化
无约束最小化问题的梯度分析—凸优化理论11
凸函数
强凸函数
Eq.4.3.20-4.3.23
矩阵论－梯度分析与最优化
12
矩阵论－梯度分析与最优化矩阵论－梯度分析与最优化14矩阵论－梯度分析与最优化15矩阵论－梯度分析与最优化16矩阵论－梯度分析与最优化17矩阵论－梯度分析与最优化18
矩阵论－梯度分析与最优化19矩阵论－梯度分析与最优化矩阵论－梯度分析与最优化矩阵论－梯度分析与最优化矩阵论－梯度分析与最优化矩阵论－梯度分析与最优化
矩阵论－梯度分析与最优化矩阵论－梯度分析与最优化26矩阵论－梯度分析与最优化27。