(
N

2)]

min {L[x(N
u(N 2)

2), u ( N

2)]
J1*[ x( N
1)}
本级代价
上级最优（已求出）
由状态方程得：x(N-1)=f[x(N-2),u(N-2)]，
可求出 u*(N-2)， J*2[x(N 2)] ，均为 x(N-2)的函数。

21
③ 求第j＋1级的最优控制u*(j)
u (1)
u(1)]

J *N 2 [ x (2)]}
由状态方程得：x(2)=f[x(1),u(1)]]，
可求出 u*(1)，J*N1[x(1)] ，均为 x(1)的函数。
23
⑤ 求第1级的最优控制u*(0)
J*N
[x(0)]

min{L[x(0),
u(0)
u(0)]

J*N1[x(1)]}
14
科学家 R.贝尔曼
• 多段决策过程 又称为多步决策过程(或 系统)，是一种适合采用动态规划的过程 (或系统)。
• 多段决策过程包括阶段、状态、决策、 策略和目标函数 5个要素。
• ①阶段：把所要求解的过程划分成若干 相互联系的阶段,并用k表示阶段变量。
• ②状态：表示某一阶段出发位置的状态， 它既是上一阶段的输出又是本阶段的输 入，并用向量x(k)表示第k阶段的状态， 称为状态变量。
N1
目标函数为： J N L[x(k), u(k)] k0
其中：x(k)∈Rn 为状态向量，u(k)∈Rm 为控制/决
策向量，N 为控制的时间水平/阶段数（期数），
则使 JN＝min 的最优控制
u* (k)
N1 k0
由下列方
程确定：
18
动态规划基本方程：
J*N
[
x(0)]
15
科学家 R.贝尔曼
• ③决策：指给定k阶段的状态后,从该状 态转移到下一阶段某一状态的选择。用 U(k)表示第k阶段当状态处于X(k)时的决 策变量。对于系统的每一个状态，都可 以从若干种可能的决策（或控制）中任 选一种。选定决策并加以实施，即可引 起系统状态的变化。系统的下一阶段状 态由现在的状态和决策确定。
由状态方程得：x(1)=f[x(0),u(0)]]，
可求出
u*(0)，
J
* N
[
x(0)]
，均为
x(0)的函数。
∴由已知的 x(0)能反序递推求出
u*(0)→x*(1)→u*(1)→……→x*(N-1)→u*(N-1) 。
u*(k)称最优控制， x*(k)称最优轨线，J*称最优目标。
24
四、生产库存经济系统的 最优控制
即要求出 u(1)、u(2) 、u(3)、u(4)使目标函数
4
J 4 [au 2 (k) bx(k)] min k 1
J4—生产库存系统的目标函数（反映成本构成）。 N-1＝4 称为最优控制问题的时间水平/决策阶段数。
5
归纳上例分析：
一个动态系统的最优控制问题应包括两组变 量：状态变量、控制变量；还包括：系统的状 态方程、目标函数，初始条件、末端条件。
动态规划是一种逆序算法，从末端开始，逆序递推。
13
科学家 R.贝尔曼
• 20世纪40年代，人们开始研 究水力资源的多级分配和库 存的多级存储问题。
• 50年代初，美国数学家R.贝 尔曼首先提出动态规划的概 念，1957年发表《动态规划》 一书。在1961、1962年相继 出版的第二版和第三版中， 又进一步阐明了动态规划的 理论和方法。
J2*[x(3)] 0.0025x2 (3) 7x(3) 7550
J
3*[
x(2)]
设有：动态系统
x(k+1)=f[x(k),u(k)] ，初值 x(0)＝x0 （已知）
N 1
目标函数为： J N L[x(k), u(k)] k0
其中：x(k)∈Rn 为状态向量，u(k)∈Rm 为控制/
决策向量，f(x,u)为已知的 n 维向量函数，L(x,u)为
已知的纯量函数。
6
最优控制问题的提法：
u(N

1)]
令右式＝0，求出使右边取 min 的 u*(N-1)，
代回上式得 J1*[x(N 1)] L[x(N 1), u* (N 1)] ， 其中：u*(N-1)，J1*[x(N 1)] 均是 X(N-1) 的函数。
20
② 求第N-1级的最优控制 u*(N-2)
J
* 2
[
x
第七章 经济系统的最优控制
第一节、最优控制问题的提法 第二节、动态规划法 第三节、生产库存系统的最优控制 第四节、设备的最优分配问题
第一节 最优控制问题的提法
生产库存问题：
设某企业生产产品 A，四个季度的销售订 单分别为 600、700、500、1200 件。
已知：产品 A 的生产费用与产品件数的平 方成正比，比例系数为 a，企业有库房可存 放待出售的产品，存储费为 b 元/件季度，
代法可求得
x* (k )
N k 0
{x*(0), x*(1),, x*(N )}
—系统的最优状态。 7
关于“最优”的讨论、求解
“最优”是相对于目标函数而言的， 目标函数不同，最优解也不同。
常用的求解离散系统最优控制问题的 方法有 ：
动态规划法 离散极小值原理 近似计算
8
第二节 经济系统的最优控制
2)] min {L[x(N 2),u(N 2)] u( N 2)
1)] min {L[x(N 1),u(N 1)]} u( N 1)
J1*[ x( N
1)]}
19
① 求第N级的最优控制u*(N-1)
J
* 1
[x
(
N

1)]

min
u ( N 1)
L[x(N

1),
26
根据订单情况，求解生产库 存系统的最优控制
季度
123 4
订货量 s(k)（件） 600 700 500 1200
生产库存系统的最优控制：寻找最优控制（最
优产量）u*(k)，使在完成订货合同计划的同时，
使成本费用最小，即 J＝min。
∵N-1=4，故是一个四级的最优控制问题，即
求最优产量 u*(1)、u*(2)、u*(3)、u*(4)使 J4＝min。
∵x(4)=x(3)+u(3)-s(3)，s(3)＝500
∴
J
* 2
[
x
(3)]

min{0.005u
u (3)
2
(3)

x(3)

0.005
x
2
(4)

11x(4)

7200}
min{0.005u 2 (3) x(3) 0.005[x(3) u(3) s(3)]2 11[x(3) u(3) s(3)] 7200} u (3)
生产库存系统
设有生产库存系统 x(k+1)=x(k)+u(k)-s(k)，k=1、2、…… x(0)=x0，x(N)=xN
目标函数是：
N 1
J [au 2 (k) bx(k)] k 1
生产成本系数 a＝0.005，库存成本系数 b=1.0。 年初库存为 0，x(1)=0，年末库存为 0，x(5)=0。
一、 定常离散线性最优控制问题描述
设定常离散线性系统的状态方程为
x(k+1)=Ax(k)+Bu(k)， x(0)=x0，k=0,1,…N-1 目标函数为
N1
J N L[x(k), u(k)] k0
其中：x(k)∈Rn为状态向量，u(k)∈Rm为控制/决 策向量，N为控制的时间水平/阶段数（期数）； 满足目标函数取极值的控制序列{u*(k)，k=0,1… N-1}称最优控制或决策序列， x*(k)称最优轨线， J*称最优目标。
二、最优化原理
无论初始状态和初始决策如何，相当于 第一个决策所形成的状态而言，余下的决策 一定构成一个最优决策。
“最优决策的一部分也是最优”
注意，对整个多阶段决策而言是最优 决策，而对某个具体的阶段而言不一定 是该阶段的最优决策。
11
例：最短路径问题
选择如汽车拉力赛、旅游线路等。 从城市A到城市F，○是经过的城市，
16
科学家 R.贝尔曼
• ④策略：由过程中每一阶段所选决策构 成的整个序列，又称为方案。
• ⑤目标函数：策略的目标是使状态变量 的某个特定函数的值为最大（或最小）。 这个特定函数就是目标函数。 使目标函数值为最大 （或最小）的策略称 为最优策略。
17
三、动态规划方法
设有如下系统：x(k+1)=f[x(k),u(k)]， k=0、1、……、N-1， x(0)＝x0 已知
→线段上是两城市间道路的距离，选择 最短距离。
12
最优化原理的思想和解决问题的方法
多步优化问题 转化为 多个一步优化问题
本级最优指标＝ min {本级代价＋上级最优指 标} 本级最优决策
一般决策时的思维 第一级A→B选一条AAFB间路程最短，第一5 级决策。 第二级B→C选一条ABBFC间路程最短，第二4 级决策。 第三级C→D选一条ACBFCD间路程最短，第三3 级决策。 第四级D→E选一条ADBFCE间路程最短，第四2级决策。 第五级E→F选一条AEBFCEF间路程最短，第五1 级决策。
生产库存系统的状态方程为： x(k+1)＝x(k)＋u(k)－s(k)， k＝1、2、3、4、5 若年初无库存，则x(1)＝0 初始条件 要求年终无库存，即x(5)＝0 终端条件