Date: File:
15.12.2018 OC_CH4.8
Optimal Control Theory & its Application
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Date: File:
15.12.2018 OC_CH4.9
2）在多级决策过程中，每一级的输出状态都仅与该级的“决策 ”及该级的输入状态有关，而与其前面各级的“决策”及状态的转移规 律无关。这种特有性质，称为无后效性。
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Date: File:
15.12.2018 OC_CH4.3
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Date: File:
15.12.2018 OC_CH4.4
Optimal Control Theory & its Application
解法二：动态规划法，从终点开始，按时间最短为目标，逐段向前逆推， 依次计算出各站至终点站的时间最优值，据此决策出每一站的最 优路线。
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Date: File:
15.12.2018 OC_CH4.6
Optimal Control Theory & its Application
Optimal Control Theory
第4章 动态规划
求解动态最优化问题的两种基本方法：极小值原理和动态规划。 动态规划：是一种分级最优化方法，其连续形式与极小值原理相 辅相成，深化了最优控制的研究。 在二十世纪50年代，贝尔曼在研究多阶决策问题时提出了动态规 划法。 离散系统的最优控制问题可以看做一个多阶决策问题，因此可用 动态规划求解。 动态规划的主导思想简单，可以方便地将一个复杂的多阶决策问 题化为一系列的一阶决策问题，使问题得到简化，可以顺序求解 ,从而它已成为解多阶决策问题的一种有效方法。 动态规划已被广泛应用于解很多技术领域的动态最优化问题，如 生产管理问题，资源分配问题，设备更新问题，多级工艺设备的 优化设计问题和工程控制问题等。

Optimal Control Theory
Dong Jie 2012. All rights reserved.
Date: File:
15.12.2018 OC_CH4.1
Optimal Control Theory & its Application
主要内容
1 2 多级决策过程和最优性原理 离散控制系统的动态规划 连续控制系统的动态规划
Optimal Control Theory & its Application
2.最优性原理 若一N级决策是最优的，则以第K级(K<=N)决策所形成的 状态为初态的任何一个N-K级的子决策也必然是最优的。
表明： 不论初始状态和初始决策如何，其余的后级决策(或控制)
对于初始决策所形成的状态来说，必定也是一个最优策略。
特点：1）将一个多阶段决策问题化为多个单阶段决策问题，易于分析
2）每阶段评估只与前一阶段结果有关，计算量减小
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Date: File:
15.12.2018 OC_CH4.5
Optimal Control Theory & its Application
Optimal Control Theory
Dong Jie 2012. All rights reser5.12.2018 OC_CH4.10
Optimal Control Theory & its Application
4.2 离散控制系统的动态规划
离散控制系统最优控制问题的提法： 离散控制系统的状态方程为
N 1
使系统从起点转移终端时，目标函数取极小值
4.1 多级决策过程及最优性原理
1.多级决策过程 所谓多级决策过程，是指将一个过程按时间或空间顺序分为若干 级(步)，然后给每一级(步)作出“决策”(在控制过程中令每走一步所 要决定的控制步骤称之为决策)，以使整个过程取得最优的效果，即多 次的决策最终要构成一个总的最优控制策略(最优控制方案)。
说明：1）全部“决策”总体，成为“策略”。
3
4
动态规划与变分法、极小值原理的关系
5
本章小结
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Date: File:
15.12.2018 OC_CH4.2
Optimal Control Theory & its Application
Dong Jie 2012. All rights reserved.
Date: File:
15.12.2018 OC_CH4.7
Optimal Control Theory & its Application
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Optimal Control Theory & its Application
以最短旅程问题为例，说明多级决策过程及动态规划的特点。
需确定一条最优的汽车行驶路线，使从S站到F站的行车时间为最短。 解法一：穷举法，列出所有可能的组合方案，找出时间最短的一个 可能的行车线路共有：2*2*2=8 （每阶段有两种可能） 缺点：计算量大，容易出错。
x(k 1) f [ x(k ), u(k ), k ]
给定端点约束条件为
(4 1)
x(0) x0 x( N ) x N (4 2)
(k 0,1,2,...,N 1)
寻求最优控制序列 {u* (k )}
u(k ) U
(k 0,1,2,...,N 1) (4 3)