•最优解的充分条件
J J ,t 0 min H x t , u t , u t t x
能源与动力学院系统控制与仿真研究室 8
最优控制——动态规划 4.4 连续控制系统动态规划
能源与动力学院系统控制与仿真研究室
9
最优控制——动态规划 4.4 连续控制系统动态规划
能源与动力学院系统控制与仿真研究室 3
最优控制——动态规划 4.4 连续控制系统动态规划

连续控制系统最优性原理
能源与动力学院系统控制与仿真研究室
4
最优控制——动态规划 4.4 连续控制系统动态规划
T J J min L x t , u t , t f x t , u t , t u t t x (t )
这就是连续系统的动态规划基本递推方程
• 它是泛函和偏微分方程的混合形式， • 称为哈密顿-雅可比方程， • 也称为哈密顿-雅可比-贝尔曼方程。
（Hamilton-Jacobi-Bellman方程）
能源与动力学院系统控制与仿真研究室 5
最优控制——动态规划 4.4 连续控制系统动态规划

Hamilton-Jacobi-Bellman方程 • 简称HJB方程 •最早出现于用动态规划解最优控制问题 •之后在科学、工程、经济领域中得到广 泛应用. •HJB方程数值解的研究是一个非常热门 的话题; •它是偏微分方程数值解领域中重要 课题之一.
34
最优控制——动态规划 4.5 三种最优控制方法的关系
能源与动力学院系统控制与仿真研究室
35
能源与动力学院系统控制与仿真研究室
36
最优控制——动态规划 4.5 三种最优控制方法的关系
能源与动力学院系统控制与仿真研究室
37
能源与动力学院系统控制与仿真研究室
38
最优控制——动态规划 4.5 三种最优控制方法的关系
能源与动力学院系统控制与仿真研究室
12
最优控制——动态规划 4.4 连续控制系统动态规划
能源与动力学院系统控制与仿真研究室
13
最优控制——动态规划 4.4 连续控制系统动态规划
能源与动力学院系统控制与仿真研究室
14
最优控制——动态规划 4.4 连续控制系统动态规划

例
能源与动力学院系统控制与仿真研究室
能源与动力学院系统控制与仿真研究室
39
能源与动力学院系统控制与仿真研究室
40
能源与动力学院系统控制与仿真研究室
41
最优控制——动态规划 4.5 三种最优控制方法的关系
能源与动力学院系统控制与仿真研究室
42
能源与动力学院系统控制与仿真研究室
43
最优控制——动态规划 4.5 三种最优控制方法的关系
15
最优控制——动态规划 4.4 连续控制系统动态规划
能源与动力学院系统控制与仿真研究室
16
能源与动力学院系统控制与仿真研究室
17
最优控制——动态规划 4.4 连续控制系统动态规划
能源与动力学院系统控制与仿真研究室
18
最优控制——动态规划 4.5 三种最优控制方法的关系

动态规划与极小值原理和变分法的关系 •概述 •动态规划与变分法的关系 •极小值原理与变分法的关系 •动态规划与极小值原理的关系
22
最优控制——动态规划 4.5 三种最优控制方法的关系



对于同样能用这三种方法解决的最优控 制问题，所得的结果是相同的。 假定最优性能指标连续可微，根据连续 动态规划法，可以导出极小值原理的全 部必要条件。 变分法是极小值原理的特例，通过连续 动态规划法也可以导出变分法的相关结 果。
能源与动力学院系统控制与仿真研究室 23
24
最优控制——动态规划 4.5 三种最优控制方法的关系

动态规划与变分法的关系 •起点和终端状态固定时的标量系统最 优控制问题为例，介绍动态规划与变 分法之间的关系。 •起点和终端的其他情况（自行论证）
能源与动力学院系统控制与仿真研究室
25
最优控制——动态规划 4.5 三种最优控制方法的关系
能源与动力学院系统控制与仿真研究室
26
最优控制——动态规划 4.5 三种最优控制方法的关系
能源与动力学院系统控制与仿真研究室
27
能源与动力学院系统控制与仿真研究室
28
能源与动力学院系统控制与仿真研究室
29
能源与动力学院系统控制与仿真研究室
30
最优控制——动态规划 4.5 三种最优控制方法的关系


由于在推导上述欧拉公式时，以最优 解存在为前提， •即哈密顿-雅可比方程成立 所以，导出的欧拉方程代表的是 •必要条件
肖玲斐 lf i @ lfxiao@ d
最优控制——动态规划 前次课程回顾——动态规划

动态规划的数值计算方法 连续控制系统动态规划
• 连续控制系统最优性原理 • 连续系统动态规划基本递推方程 • 哈密顿-雅可比方程的解与最优性能指标的
关系 • 最优解的求解步骤
能源与动力学院系统控制与仿真研究室
能源与动力学院系统控制与仿真研究室
31
最优控制——动态规划 4.5 三种最优控制方法的关系

极小值原理与变分法的关系
能源与动力学院系统控制与仿真研究室
32
能源与动力学院系统控制与仿真研究室
33
最优控制——动态规划 4.5 三种最优控制方法的关系

动态规划与极小值原理的关系
能源与动力学院系统控制与仿真研究室


值得指出的是，上述推证过程仅仅具有 形式上的意义，因为实际上除了线性二 次型问题外，哈密顿-雅可比方程难以求 解，或者根本不存在二次连续可微的函 J 数 x t , t 。 但是，上述推证揭示了变分法、极小值 、动态规划之间的内在联系，有利于深 入了解三种方法的应用条件和相互关系
2
最优控制——动态规划 4.4 动态规划的数值计算

利用数值计算法计算离散最优控制问题时 •可以把容许控制域和容许状态变化范围 分成若干等份； •然后再不同容许状态值下，根据动态规 划的基本递推方程，逆向分级计算最优 控制和最优代价函数，并列出响应的计 算表格； •最后根据给定的初始状态，正向查询各 级计算表，确定最终的最优解。
能源与动力学院系统控制与仿真研究室 44
最优控制——动态规划 4.5 三种最优控制方法的关系
重点掌握
1. 连续控制系统动态规划 最优解的求解步骤 2.动态规划与极小值原理 和变分法的关系
能源与动力学院系统控制与仿真研究室
45
思考题
能源与动力学院系统控制与仿真研究室
46
肖玲斐 lf i @ lfxiao@ d
能源与动力学院系统控制与仿真研究室
19
最优控制——动态规划 4.5 三种最优控制方法的关系
能源与动力学院系统控制与仿真研究室
20
最优控制——动态规划 4.5 三种最优控制方法的关系
能源与动力学院系统控制与仿真研究室
ቤተ መጻሕፍቲ ባይዱ
21
最优控制——动态规划 4.5 三种最优控制方法的关系
能源与动力学院系统控制与仿真研究室
最优控制——动态规划 4.5 三种最优控制方法的关系


由于常微分方程一般比偏微分方程的求 解容易，因此极小值原理比动态规划好 用。 但是，在求解离散最优控制问题时，动 态规划更加方便，而且动态规划结论是 充分必要条件，所以便于建立动态规划 、极小值原理和变分法之间的联系。
能源与动力学院系统控制与仿真研究室
2 x J t , t J f x , u, t T xx x t J 2 J ,t f x , u, t H x, T x x xx T 2 J J L x , u , t f x , u , t f x , u, t T x xx x T L 2 J 2 J J f x, u , t f x, u , t f x , u, t T T x xx xx x x
7
最优控制——动态规划 4.4 连续控制系统动态规划

最优解的求解步骤 ——由哈密顿-雅可比方程求解 •哈密顿-雅可比方程
T
J J J J L x t , u x t , ,t ,t ,t ,t f x t , u x t , t x x (t ) x
J J L x t , u x t , ,t ,t t x J J ,t ,t f x t , u x t , x x (t ) T
能源与动力学院系统控制与仿真研究室 6
最优控制——动态规划 4.4 连续控制系统动态规划

动态规划的数值计算方法 连续控制系统动态规划
• 连续控制系统最优性原理 • 连续系统动态规划基本递推方程 • 哈密顿-雅可比方程的解与最优性能指标的
关系 • 最优解的求解步骤
能源与动力学院系统控制与仿真研究室
能源与动力学院系统控制与仿真研究室
10
最优控制——动态规划 4.4 连续控制系统动态规划
能源与动力学院系统控制与仿真研究室
11
最优控制——动态规划 4.4 连续控制系统动态规划

虽然上面介绍了连续系统动态规划法求 解最优问题的步骤，但是除了线性二次 型问题，哈密顿-雅可比偏微分方程的求 解非常困难。