第九讲：Hamilton-Jacobi-Bellman 方程
最优控制的数学理论之五
张杰
人工智能学院 中国科学院大学 复杂系统管理与控制国家重点实验室 中国科学院自动化研究所
2017 年 10 月 17 日
Jie,l
. . . .... .... .... . . . . .... .... .... . .
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
9 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程
Hamilton-Jacobi-Bellman 方程
定理 3 (Hamilton-Jacobi-Bellman 方程)
最优控制的数学理论
. .. . . ..
14 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的充分条件
1/3 HJB 方程必要性-命题表述
定理 4 (HJB 方程的充分条件)
若存在函数 V (x, t) : Rn × [t0, tf ] → R 满足 HJB 方程：
(4)
. .. . . ..
5 / 67
回顾：Bellman 方程 回顾：Bellman 方程
动态规划的最优性原理
定理 1 (最优性原理,
Bellman1954)
过程的最优
有如
下性质：不论初始状态和初始
如 ，其 的 对于由初始
所形成的状态来 ，必定也
是一 最优
北京
天津 J [南京, 天津,北京]
J [南京, 北京]
V (x(t), t) = min{g(x(t), u(t), t)∆t + V (x(t), t) u(t)
∂V + (x(t), t)∆t
∂t
+
∂V [
(x(t),
t)]T [f (x(t),
u(t),
t)]∆t
+
o(∆t)}
∂x
于是
∂V −
(x(t), t)∆t
=
min{g(x(t),
u(t), t)∆t
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
12 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
3/4 HJB 方程必要性-简单整理
对较小的 ∆t, 对 τ ∈ [t, t + ∆t]，u(τ ) ≈ u(t)
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
4 / 67
回顾：Bellman 方程 回顾：Bellman 方程
离散时间最优控制问题
问题 1 (离散时间最优控制问题)
南京
J [上海, 南京]
上海
如果南京-天津-北京是南京到北京的最短路， 上海-南京-北京会是最短路吗
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
2/3 HJB 方程必要性-处理极值条件
设 u(t) 是满足 HJB 方程的控制变量，x(t) 是对应的状态
∂V −
(x(t),
t)
=
( min H x(t), ξ,
∂V
,
) t,
∂t
ξ
∂x
及边界条件
V (x(tf ), tf ) = h(x(tf ), tf ).
则，V (x0, t0) 是以 t0 为初始时刻，x0 为初始状态的值函数
若存在 x(t), u(t) 恰满足哈密尔顿函数最小化，那对其他 u′(t)，性
13 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
4/4 HJB 方程必要性-取极限
两边同除 ∆t，取 ∆t → 0，即可得对于 t ∈ [t0, tf ] 都有 HJB 方程
∂V −
(x(t),
t)
=
min{g(x(t),
u(t),
t)
+
∂V [
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
7 / 67
回顾：Bellman 方程 回顾：Bellman 方程
HJB 方程和 PMP、经典变分的关系
拉格朗日变分法
⇕ 等价
哈密尔顿方程组 ⇔
哈密尔顿雅各比方程
⇓ + 控制
u(τ ),τ ∈[t,t+∆t] ∫t t+∆t
= min {
gdτ + V (x(t), t)
u(τ ),τ ∈[t,t+∆t] t
∂V + (x(t), t)∆t
∂t
+
∂V [
(x(t),
t)]T [x(t
+
∆t)
−
x(t)]
∂x
+ o(∆t)}
Jie, Zhang (CASIA)
Optimal Control
能指标均不优于 V
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
15 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的充分条件
最优控制的数学理论
. .. . . ..
1 / 67
Table of Contents
1 回顾：Bellman 方程 2 Hamilton-Jacobi-Bellman 方程 3 动态规划求解连续最优控制 4 离散时间线性二次性最优控制 5 连续动态规划求解线性二次型 6 动态规划 v.s. 极值原理
⇓ + 控制
极值原理 ⇐ V 二次可微特况∗ HJB 方程
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
8 / 67
Hamilton-Jacobi-Bellman 方程
最优控制的数学理论
. .. . . ..
10 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
1/4 HJB 方程必要性-最优性原理
将性能指标分成 [t, t + ∆t] 和 [t + ∆t, tf ] 两段
∫ tf
V (x(t), t) = min {h(x(tf ), tf ) + g(x(τ ), u(τ ), τ )dτ }
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
2 / 67
周四，10 月 19 日随堂考试
开卷考试，禁止电子设备，自带纸笔 计算题、证明题、问答题 包括截止考试当日的所有内容 折算占平时成绩中的 10 分 考试时间，10 月 19 日课上后半节
最优控制的数学理论
. .. . . ..
11 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
2/4 HJB 方程必要性-泰勒展开
假定 V 二阶连续可微，将值函数在 x(t), t 泰勒展开
∫ t+∆t
V (x(t), t) = min {
gdτ + V (x(t + ∆t), t + ∆t)}
Table of Contents
1 回顾：Bellman 方程 2 Hamilton-Jacobi-Bellman 方程 3 动态规划求解连续最优控制 4 离散时间线性二次性最优控制 5 连续动态规划求解线性二次型 6 动态规划 v.s. 极值原理
Jie, Zhang (CASIA)
Optimal Control
6 / 67
Bellman 方程
回顾：Bellman 方程
回顾：Bellman 方程
定理 2 (Bellman 方程) x0 为初值 k0 为初始时刻，最优控制下的性能指标记为 值函数
V (x0, k0) = min J(u; x0, k0)
(5)
u∈U
最优性原理，最优控制满足下 Bellman 方程：
(x(t),
t)]T f (x(t),
u(t),
t)}
∂t
u(t)
∂x
令 t = tf ，得到边界条件
V (x(tf ), tf ) = h(x(tf ), tf ).
(11)
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .