对于任意给定的k（1 ≤ k≤n），从第k段到第 n段的过程称为原过程的一个后部子过程
原过程的一个后部子过程的策略：
从第k阶段初始状态s k 开始到第n阶段的
.决策组成的序列.记为：pk,n sk 即pk,n sk uk sk , uk1 sk1 , un sn
最短路问题：
都是零，试制定四个月的生产计划，在满足用 户需求条件下，使总费用最小。
阶段k=1，2，3，4
第k阶段的状态变量sk =第k个月月初的库存量 S1={0}，S2={0,1,2,3}，S3={0,1,2,3 }，S4={0,1,2,3}
3、决策：当一个阶段的状态确定后，可以作出各种选
允许决 择从而演变到下一阶段的某个状态，这种选 策集合 择手段称为决策
找最短路线的方法：
从最后一阶段开始，用由后向前的方法，求出各点到 终点的最短路线，最后求得由起点到终点的最短路线
对最短路问题：
○ ○ ○ 8
D1
5 9
8
C1
○ ○○ ○○ ○E
4 D2
6 C2 6 1 C3
10 B1 4
96 7 7 B2
8 3 B3
2 3
○A
设f k sk 从第k段点sk到终点E点的最短距离
•主要用于解决：最优路径问题，资源分配问题， 排序问题 ,投资问题，装载问题 生产计划与库存问题， 生产过程的最优控制等
离散确定型
离散
动态规划
离散随机型
连续
连续确定型
连续随机型
4.1 动态规划的基本概念 和方法
一、几个典型的例题
例1 设从甘肃要铺一条煤气管道到北京，途中须经
○铺最 短 路 问 题1 设○方过间下3使案三 站 图总多1个 。 ，○距5阶：省 各 现路离段： 省 要○长最决8 陕 建 求=短策2西站选○。1问10、可择题山供一策○1北西选条0略京8、择甘4 河河的肃○ ○89北北地到，点北5668每及京91○○○67省 各 的5 设 段 铺781一 距 管97063○个 离 线○2○34中 如 路2，34甘○肃1
P1,4 0 p1,4 0
策略：由各阶段的决策组成的序列称为策略
p1,n s1 从第一阶段初始状态s1开始到
第n阶段全过程的策略
原过程 的策略
即p1,n s1 u1 s1 , u2 s2 , un sn
原过程：一个n阶段决策过程，从1到n叫作问题的原过程
原过程的一个后部子过程：
每月库存i个单位产品的费用E(i)=0.5i(千元），该 厂最大库存容量为3个单位，每月最大生产能力为6 个单位，计划开始和计划期末库存量都是零，试制
定总四费个用月 最的 小生 。产计划，在满足用户四决需个策求阶问条段题件的下，使 每个月视为一个阶段，每个阶段都须决定生产几个
生产方案1：2,3,2,4 ；总费用：5+6+5+7=23 生产方案2：2,5,0,4 ；总费用：5+8+1+7=21
计划开始和计划期末库存量都是零
i月
12 3 4
g(i)需求 2 3 2 4
生产费用
c
j
3
0
j
j0 j 1,2, 6
k=1，2，3，4 sk=第k个月月初的库存量
决策变量uk sk 第k月月初库存量为sk时产品的产量
一个策略= 一个生产方案
p1,4 0：{2，3，2，4},{3，4，2，2}, {4，1，5，1}
计划开始和计划期末库存量都是零
i月
12 3 4
g(i)需求 2 3 2 4
生产费用
c
j
3
0
j
j0 j 1,2, 6
k=1，2，3，4
第k阶段的状态变量sk=第k个月月初的库存量
决策变量u
k
sk
第k月月初库存量为s
时产品的产量
k
当s2 2，u2 (2) 2时，s3 s2 u2 (2) g(2) 1
（16）
○A
从A到E的最短距离=16
最短路线：A B3 C2 D2 E
课堂练习：求A到E的最短路
（7）
○ （○A8）32 ○○ ○○ 1
B1
4
（6B）2 313 4 （8）3
B3 5
（5）2
（4C）1135
C2
3
2
（3）
○D1
（1）
3 （0）
○ ○ D2 1
4
E
○ （5） 5 D3
从A到E的最短距离=8
决策变量uk sk 第k月月初库存量为 sk时产品的产量
4、状态转移方程
sk 第k阶段的状态变量
uk
sk
表示第k阶段处于状态s
时的决
k
策变量
sk+1 第k+1阶段的状态变量 描述了由k段到k+1 状态转移方程：sk1 Tk (sk , uk ) 段的状态转移规律
在最短路问题中：
○1北0 京84
铺设方案2：路长=16
山西 陕西
○1 ○4 ○6 ○9 ○10 一个策略
每一个阶段的决策合在一起构成一个铺设方案
每个铺设方案对应一个路长, 路长最短的方案=最优方案
寻找路长最短的铺设方案
寻找最优策略
例2 （多阶段资源分配问题）
设有数量为y的某种资源，将它分别投入两种 生产方式A和B，已知收益函数分别是g(x)和 h(x)，x为资源投入量。设这种资源用于生产后 还可以回收一部分用于生产，A、B的回收率分 别为a和b（ 0≤a≤1，0≤b≤1 ），
求f1 A
找最短路线的方法：
从最后一阶段开始，用由后向前的方法，求出各点到 终点的最短路线，最后求得由起点到终点的最短路线
设已求得f3 C1 ，f3 C2 ，f3 C3 ，
则f2 B1 min 10 f3 C1 ， 9 f3 C2 f 2 B2 min 6 f3 C1 ，7 f3 C2 ，7 f3 C3
创始时间 创始人
上个世纪50年代 美国数学家贝尔曼 （Richard. Bellman)
• 是解决多阶段决策过程的最优化的一种方法
多阶段决策过程： 是一类特殊的活动过程， 这类活动可以按时间顺序 分解成若干个相互联系的 阶段，每个阶段都有若干 个方案可供选择。
多阶段决策过程的最优化的目标： 达到整个活动过程的总体效果最优
最短路线：A B2 C1 D1 E
三、基本概念
1、阶段 2、状态 3、决策 4、状态转移方程 5、策略 6、指标函数
7、最优指标函数、最优策略
1、阶段： 通常用k表示阶段
阶段是指对整个过程的自然划分
划分阶段的规则：
根据时间顺序或空间特征来划分阶段
问如题最目分短的成路：4问个以题阶便：段按：次序来○1解0 优8 化○8问题5 689○○65
f1 A min 4 f2 B1 ，2 f2 B2 ，3 f2 B3
最短路的标号法：
○ ○○ ○○ ○ （0） ○ ○ ○ E
（8） 5 8 D1 9
（4） 4 D2 6
（12）
C1
8（10） 9 6 C2 （1 9）
10 （19） B1 4
7 76（（31B1623））23
C3 8
B3
当s3 1，u3 (1) 3时，s4 s3 u3 (1) g(3) 2
sk1 s k uk sk g(k) Tk (sk , uk )
当s2 1，u2 (1) 2时，s3 0
状态转 移方程
当s3 2，u3 (2) 4时，s4 4
5、策略：由各阶段的决策组成的序列称为策略
10 9
○2
7
6 7
○3
8 3○4
2 4 ○1
3 甘肃
陕西
如{ 1 3, 3 7, 7 9, 9 10 } p1,4 1 策略：{ 1 2, 2 5, 5 9, 9 10 } p1,4 1
例3（生产与存储问题）最大生产能力为6个单位
最大库存容量为3个单位，库存费E(i)=0.5i(千元）
例4（投资决策问题）某公司现有资金Q万 元，在今后5年内决定给A、B、C、D四 个项目投资，这些项目的投资期限、回 报率均不相同，问应如何确定这些项目 每年的投资额，使到第5年末拥有资金的 本利总额最大。
5个阶段的决 策问题
例5（设备更新问题）某企业要决定一台设 备未来20年的更新计划，预测第j年购买 设备的价格为Kj， Gj为设备经过j年后的 残值， Cj为设备连续使用j-1年后在第j年 的维修费(j=1,2, …,20),问应在哪一年更新 设备可使总费用最小
决策变量 描述决策的变量 ，简称为决策
uk
sk
第k阶段处
于
状态s
时的决策
k
变
量
U k sk 决策变量uk (sk )允许取值的范围
○北10 京84
○8 ○9
河北
5 8 ○5 6 9○6 6 1○7
山西
10 9
○2
7
6 7
○3
8 3○4
2 4 ○1
3 甘肃
陕西
u2 3 第2阶段当状态为3时的决策变量
sk 第k阶段的状态变量
Sk ={sk} 第k阶段的状态集合
如最短路问题：
状态=中间站
第一阶段的状态：○1
○北10 京84
○8 ○9
河北Biblioteka 5 6○58
6 9○6
1○7
第二阶段的状态：○2 ○3 ○4
山西
10 9
○2
7 76○3
2 4 ○1
3 甘肃
8 3○4
陕西
s4 第4阶段的状态变量 s4=8,9 S3 ={s3}={5，6，7} S5 ={10}