fk（ sk ）=
Opt
[ Vk，n（sk， pk，n ）]
pk，n Pk，n（ sk ）
12
一、动态规划的基本概念
由此可以得到多阶段决策过程的数学模型 多阶段决策过程问题要求出： （1）最优策略或最优决策序列； （2）最优目标函数值； （3）最优路线，即执行最优策略时的状态序
列。
一、动态规划的基本概念
3、决策（decision） 当一个阶段的状态确定后，可以作出不同的决定或选择，
从而演变到下一阶段的某个状态，这种决定或选择称为决策。 决策变量 —— uk（sk） （decision variable）简记为 uk 决策集合 —— Uk（sk）（set of admissible decision）
4、策略（policy） 一组有序的决策序列构成一个策略，从第k阶段至第n阶段
的一个策略称为后部子策略记为 pk，n →（uk，uk+1，…，un）。
9
一、动态规划的基本概念
5、状态转移方程（equation of state transition） 在确定型多阶段决策过程中，一旦某阶段的状态和决策为已知，
每个阶段开始时过程所处的自然状况或客观条件。它应能描述 过程的特征并具有“无后效性”，即当前阶段状态给定时，这个阶 段以后过程的演变与该阶段以前各阶段的状态无关。
状态变量 —— sk（state variable） 状态集合 —— Sk（set of admissible states）
8
一、动态规划的基本概念
第一节 分级决策方法
动态规划的方法，在工程技术、企业管理、 工农业生产及军事等部门中有着广泛的应用， 并且获得了显著的效果。在经济管理方面， 动态规划可以用来解决最优路径问题、资源 分配问题、生产调度问题、库存问题、装载 问题、排序问题、设备更新问题、生产过程 最优控制问题等等，他是现代企业管理中的 一种重要的决策方法。
多阶段决策过程： 整个决策过程可按时间或空间顺序
分解成若干相互联系的阶段，每一阶段 都需作出决策，全部过程的决策是一个 决策序列，也称为序贯决策问题。
例1求从A市到G市的最短路径问题
5
A 18 3
13 1
B1 3
6
8 7
B2 6
16
13
C1 6
8
10 3
C2 5
9
3
C3 3
8 4
C4
7
D1 2
2
15
三、动态规划的数学描述
建立 DP 模型与求解 建立动态规划的模型，就是分析问题并建立问题的动态规划基
本方程，成功地应用动态规划方法的关键，在于识别问题本身的多 阶段特征，将问题分解成为可用递推关系式联系起来的若干子问题， 或者说正确地建立具体问题的基本方程，这不仅需要经验和技巧， 也需要对实际问题敏锐的动察力。而正确建立基本递推关系方程的 关键又在于正确选择状态变量 sk+1 = Sk（sk，uk），这是建立动态 规划的模型的两个要点。
下一阶段的 状态便完全确定，用状态转移方程反映这种状态间的演 变规律，写作：
sk+1 = Sk（sk，uk） k =1，2，…，n 6、阶段指标值（objective value in a stage）
衡量在一个阶段某个状态下各决策所对应的某种数量指标或效 果，通常表示为 Dk（sk，uk）。
10
一、动态规划的基本概念
第七章 动态规划
动态规划是一种将复杂问题转化为一 系列比较简单问题的最优化方法。它的基 本特征是优化过程的多阶段性。
动态规划作为运筹学的一个重要分支是解决多阶段决策 过程最优化的一种非常有效的方法。1951年，美国数学家 贝尔曼（ R . Bellman ）等人，根据一类多阶段决策问 题的特点，把多阶段决策问题变换为一系列相互联系的单 阶段决策问题，然后分阶段逐个加以解决。贝尔曼等人在 研究和解决了大量实际问题之后，提出了解决这类问题 的——所谓“最优性原理”，通常称为“贝尔曼最优化原 理”，从而创建了解决最优化问题的一种新的方法 —— 动态规划 ——（Dynamic Programming ）。贝尔曼的名 著《动态规划》于1957年出版，这成了动态规划的第一本 著作。
7、指标函数（objective function） 衡量在选定某策略时，其优劣的数量指标。定义在整个过程（1
到n阶段）上的指标函数记为：d1，n（s1，u1，s2，…，sn，un）， 定义在后部子过程（k到n阶段）上的指标函数记为： fk（sk， uk，…，sn，un），或简记为：dk，n（sk， pk，n ）。
3. 3. 为求全局的最优解，分级决策总是从 最后一级开始的，逐级求出最优解，直到 第一级为止。
第二节最优化原理和动态规划的数学描述
一、动态规划的基本概念 1、阶段（stage）
对整个决策过程的自然划分，通常根据时间顺序或空间特征来 划分阶段，以便按阶段的次序逐段解决整个过程的优化问题。阶段 变量通常用k表示（k = 1，2，3，…，n）。 2、状态（state）
多阶段决策过程具有如下的性质： （1）对于状态变量具有传递性； （2）对于状态描述的过程具有无后效性； （3）对于目标函数具有可分离性。
二、Bellman最优化原理
Bellman 最优化原理： “一个过程的最优策略具有这样的性
质，即无论开始的状态及初始的决策如何， 对先前决策所形成的状态而言，其以后所 有的决策必构成最优决策——后部子过程 最优。”
常见指标函数的形式： fk，n（sk， pk，n ）= ∑ di（si ，ui） （求和形式）
fk，n（sk， pk，n ）= ∏ di（si ，ui） （乘积形式）
11
一、动态规划的基本概念
8、最优指标函数（optimal value function）
从第k阶段状态 sk 出发，采用最优策略 p*k，n 到终止时的后 部子过程指标函数值。
6
D2 1
2
3
D3 3
8
7
E1 3
5
5
E2 2
5
6 6
E3
9
该点到G点的最短距离
4
F1 4
G 33
F2
12
第一阶段 第二阶段 第三阶段
第四阶段 第五阶段
第六阶段
6
分级决策方法（动态规划法）的基本特点：
1. 将一个问题分成几个部分（或级）进行分 析，使复杂问题简化；
2. 2. 每一个阶段（或级）有自己的输入量 和输出量，称为状态变量，又有各自的决 策变量以及指标函数；