2、向量和子空间投影定理
(1) n维欧氏空间：Rn 点（向量）：x Rn, x = (x1 ,x2 ,…,xn)T
分量 xi R (实数集) 方向（自由向量）：d Rn, d 0
d =(d1 ,d2 ,…,dn)T 表示从0指向d 的方 向
实用中，常用 x + d 表示从x 点出发沿d 方向 移动d 长度得到的点
d x+(1/2)d
0
x
(2) 向量运算：x , y Rn
x , y 的内积：xTy =
i =1
xiyi = x1y1+ x2y2+ …+ xnyn
x , y 的距离： ‖x-y ‖= [(x-y)T(x-y)](1/2)
x 的长度：
‖x‖= [ xTx ](1/2)
三角不等式： ‖x + y ‖≤‖x‖＋‖y‖
一致性 5 ）灵敏性分析：参数扰动对解的影响情况 6 ）解的实施：回到实践中 7 ）后评估：考察问题是否得到完满解决
§3 基本概念 1、最优解与极值点
p mxiRnn f x s.t. gi x 0
i 1, 2,L , m
容许解集： R x gi x 0, i 1, 2,L , m
第一章 最优化简介
主 要 内
第二章 基本概念和理论基础 第三章 线性规划 第四章 最优化搜索算法结构与一维搜索 第五章 无约束最优化方法
容 第六章 约束最优化方法
第一章
最优化简介
最优化—寻求最优方案的方法称为最优化方法。
最优方案：从所有可能的方案中选择最合理的一 种以达到最优目标。
最优目标：与工程设计密切相关。如：产值最大、 耗能最小、 速度最快等等。
基础：高等数学，线性代数
§1 最优化问题的数学模型及分类
共同特点： 求x1 ,x2 ,…,xn
使函数f（ x1 ,x2 ,…,xn）
（被称为目标函数或评价函数） 达到极小min；
若求极大max，相当于一个min（-f）。
优化模型的一般形式
min. f ( xi, yj, k ) s.t. gh ( xi, yj, k ) , 0
（四）解法的分类 ➢ 解析方法:利用函数的分析性质去构造迭代
公式，使之收敛到极值点。 ➢ 直接方法：按一定的数学原理，用尽量少的
计算量，直接比较函数值的大小。
§2 最优化方法解决问题的工作步骤
1 ）提出问题：目标、约束、决策变量、参数 2 ）建立模型：变量、参数、目标之间的关系
表示 3 ）模型求解：数学方法及其他方法 4 ）解的检验：制定检验准则、讨论与现实的
(m)
)={
x
=
m
j
d
(j)
jR
}
为由向量d (1) , d (2) , … , d (m) 生成的子空间，简记
为L。
正交子空间：设 L 为Rn的子空间，其正交子空间为 L＝{ x Rn xTy=0 , y L }
子空间投影定理：设 L 为Rn的子空间。那么 z Rn，
唯一 x L , y L, 使 z=x+y , 且 x 为问题xx+y Nhomakorabeay
点列的收敛：设点列｛x(k)｝
Rn
,
x
Rn
点列｛x(k)｝收敛到 x ，记
lim
k
x(k)
=
x
lim‖x(k)-
k
x‖
=
0
limkxi(k)
=
xi
,i
(3) 子空间：设 d (1) , d (2) , … , d (m) Rn, d (k) 0
记
L(
d
(1)
,
d
(2)
,
…,d
j =1
min ‖z - u‖
s.t. u L
的唯一解，最优值为‖y‖。
Def1:若 x R x gi x 0, i 1, 2,L , m
使得 ，x 恒R有
f x f x
称 为x问题（p）的最优解or全局极小
值点。记 g.opt.( global optimum),简
记 opt.
Def2:若 x ，R 使得 x R，, x x
恒有 f x， f x
称 为x问 题（p）的严格全局极小值点。
Def3:若 x ，R N x x x x , 0
使得 x R，N恒 有x
f x f x
称 为x问 题（p）的局部极小值点。
记 l .opt.(local optimum)
Def4:若x R N， x x x
恒有 f x， f x
mxiRnn f x s.t. gi x 0 i 1, 2,L , m
✓ 一般的约束优化问题
min f x
xRn
s.t .
gi
x
0
i 1, 2,L , m
hi x 0
j 1, 2,L , p
以上为标准形式，某些问题可标准化：
1） gi x 0 -gi x 0
2）
hi
处理方法：对实际问题建立一个数学模型。
发展过程—运筹学、线性规划、非线性规划、动态规
划、组合优化等。
促进最优化发展的主要因素
➢ 近代科技与生产发展的需要 ➢ 计算机技术的飞速发展
参考书目
➢ 《最优化理论与方法》袁亚湘等编，科学出版社 ➢ 《数学规划讲义》马仲蓄等编，人大出版社 ➢ 《实用线性规划》D.M希梅尔布劳著 ➢ 《无约束最优化计算方法》邓乃杨等编
称 为x问 题（p）的严格局部极小值点。
严格l .opt .
严格g .opt .
l .opt .
由以上定义，可得到两个简单定理： Th1：问题（p）的任意全局极小值点必为局部
极小值点。 Th2：若目标f(x)和g(x)都为定义域上的连续
函数，则： （1）问题（p）的容许解集R为闭集。
（2）问题（p）的最优解集R为闭集。
x
0
hi x 0
-hi
x
0
（二）根据函数类型分类 ➢ 线性规划：目标函数、约束条件都是线性的 ➢ 二次规划：目标函数为二次函数，约束条件
中的函数为线性的。 ➢ 非线性规划：目标函数不是一次or二次的，
或约束条件中的函数不全是线 性的。 （三）根据函数性质分类 ➢ 动态与静态 ➢ 随机与确定 ➢ 单目标与多目标
h = 1,2, … ,m
其中： xi 为决策变量（可控制） yj 为已知参数
k 为随机因素
f , gh 为（一般或广义）函数 建模举例（略）—— 自看
（一）根据问题的不同特点分类 ➢ 无约束最优化问题
min f x
xRn
➢ 约束最优化问题
✓ 等式约束优化问题
mxiRnn f x ✓ 不等式约s.束t. 优hi 化 x问 题0