化
多阶段决策问题
(Multi-Stage decision process)
决策u1 决策u2
决策uk
决策un
状态
x1
阶段1状x2态
阶段2状x3态...状xk态
阶段k状xk态+1...状态
状
阶段n 态
T1
T2
Tk
xn
Tn xn+1
§1 多阶 段决 策过 程的 最优
化
1.多阶段决策过程的最优化
动态规划方法与“时间”关系很 密切，随着时间过程的发展而决定各时段的 决策，产生一个决策序列，这就是“动态” 的意思。然而它也可以处理与时间无关的静 态问题，只要在问题中人为地引入“时段” 因素，就可以将其转化为一个多阶段决策问 题。在本章中将介绍这种处理方法。
种方法多阶段决策过程： 多阶段决策过程的最优化的目标： 达到整个活动过程的总体效果最优 •主要用于解决：
最优路径问题 资源分配问题 排序问题 投资问题 装载问题 生产计划与库存问题 生产过程的最优控制等

动态规划
模型分类 源自离散确定型 离散随机型 连续确定型 连续随机型
§1 多阶 段决 策过 程的 最优
这种运输网络问题也是静态决 策问题。但是，按照网络中点的分 布，可以把它分为5个阶段，而作 为多阶段决策问题来研究。
§1 多阶 段决 策过 程的 最优
化
本章 内容
多阶段决策过程的最优化 动态规划的基本概念和基本原理 动态规划模型的建立与求解 动态规划在经济管理中的应用 马氏决策规划简介
§2 动态 规划 的基 本概 念和 基本 原理
一、动态规划的基本概念
使用动态规划方法解决 多阶段决策问题，首先要将实 际问题写成动态规划模型，同 时也为了今后叙述和讨论方便， 这里需要对动态规划的下述一 些基本术语进一步加以说明和 定义：
§2 动态 规划 的基 本概 念和 基本 原理
(一) 阶段和阶段变量
32
维护费
8 8 9 9 10 6 6 8 8 10 5 6 8 9 5 5 6 4 5
4
新设备购置费 50
50
52 52 55 60
旧设备折价
20 15 10 5 2 30 25 20 15 10 31 26 21 15 33 28 20 35 30
40
§1 多阶 段决 策过 程的 最优
化
3)连续生产过程的控制 问题：一般化工生产过程中，
本章 内容
多阶段决策过程的最优化 动态规划的基本概念和基本原理 动态规划模型的建立与求解 动态规划在经济管理中的应用 马氏决策规划简介
创始时间 创始人
上个世纪50年代
美国数学家贝尔曼 （Richard. Bellman)
是运筹学的一个主要分支 是解决多阶段决策过程的最优化的一
常包含一系列完成生产过程的设 备，前一工序设备的输出则是后 一工序设备的输入，因此，应该 如何根据各工序的运行工况，控 制生产过程中各设备的输入和输 出，以使总产量最大。
§1 多阶 段决 策过 程的 最优
化
以上所举问题的发展过程都与时间 因素有关，因此在这类多阶段决策问题 中，阶段的划分常取时间区段来表示， 并且各个阶段上的决策往往也与时间因 素有关，这就使它具有了“动态”的含 义，所以把处理这类动态问题的方法称 为动态规划方法。
例2：下表给出了某单位的预测数据， 现决定考虑到1998年（n=5），试作5 年内的设备更新计划
产品年代 1993
1994
1995 1996 1997 1998
机龄
1 2 3 4 5 0 1 2 3 4 0 1 2 3 0 1 2 0 1
0
收入额
18 16 16 14 14 22 21 20 18 16 27 25 24 22 29 26 24 30 28
例3：某工厂生产A、B、C三种产品， 都使用某种原材料，现有原材料4吨。 江不同数量的这种原料分配给各种 产品时产生的收益如表所示，试确 定使总收益最大的分配法。
ABC 0 000 1 10 6 8 2 17 17 11 3 20 18 11
§1 多阶 段决 策过 程的 最优
化
5）运输网络问题：如图7-1所 示的运输网络，点间连线上的数字 表示两地距离(也可是运费、时间 等)，要求从A至F的最短路线。
月份
123456
交货量
（百件） 1 2 5 3 2 1
§1 多阶 段决 策过 程的 最优
化
2) 设 备 更 新 问 题 ： 一 般 企 业
用于生产活动的设备，刚买来时故障 少，经济效益高，即使进行转让，处 理价值也高，随着使用年限的增加， 就会逐渐变为故障多，维修费用增加， 可正常使用的工时减少，加工质量下 降，经济效益差，并且，使用的年限 越长、处理价值也越低，自然，如果 卖去旧的买新的，还需要付出更新 费．因此就需要综合权衡决定设备的 使用年限，使总的经济效益最好。
化
例1：某厂与用户签订了如表所示 的交货合同，表中数字为月底的交 货量。该厂的生产能力为每月400 件，该厂仓库的存货能力为300件。 已知每百件货物的生产费用为 10000元。在进行生产的月份，工 厂还要支付经常费4000元。仓库保 管费为每百件货物每月1000元。假 设开始时及6月底交货后无存货。
§1 多阶 段决 策过 程的 最优
化
2.多阶段决策问题举例
属于多阶段决策类的问题很多， 例如：
1)工厂生产过程：由于市场需求 是一随着时间而变化的因素，因此， 为了取得全年最佳经济效益，就要在 全年的生产过程中，逐月或者逐季度 地根据库存和需求情况决定生产计划 安排。
§1 多阶 段决 策过 程的 最优
不过，实际中尚有许多不包含时间 因素的一类“静态”决策问题，就其本 质而言是一次决策问题，是非动态决策 问题，但是也可以人为地引入阶段的概 念当作多阶段决策问题，应用动态规划 方法加以解决。
§1 多阶 段决 策过 程的 最优
化
4）资源分配问题：便属于这类静 态问题。如：某工业部门或公司，拟对 其所属企业进行稀缺资源分配，为此需 要制定出收益最大的资源分配方案。这 种问题原本要求一次确定出对各企业的 资源分配量，它与时间因素无关，不属 动态决策，但是，我们可以人为地规定 一个资源分配的阶段和顺序，从而使其 变成一个多阶段决策问题(后面我们将 详细讨论这个问题)。