(26)
边界条件为 P(tf) = F 将最优控制代入系统方程，可知最优轨线应满足
证明：必要性：若u*(t)为最优控制，可以证明(24)成立。 因为u*(t)是最优控制，所以满足极小值原理，构造
由极值条件可得
由正则方程可知
(27) 因为末态自由，所以横截条件为
假设
(28)
则
将系统方程代入，可得
再将(28)代入(27)可得
解：本题属于N=3级最优决策问题。根据递推方程(37) 令k=2
根据代价函数的末值项及系统方程，有
所以
因为u(k)无约束，令
可得
令k=1
可得 令k=0
可得
代入已知的x(0)，按正向顺序求出
因此最优控制、最优轨线及最优代价为
4.4.2 离散动态规划
采用离散动态规划方法，可以方便地求出控制与状态变量 均有约束时离散系统的最优控制问题。 (1) 离散最优控制问题的动态规划解 设非线性离散系统的状态差分方程为
的存在。
设有N-k级决策过程
式中，j=k,…,N-1,u={u(k),…,u(N-1)}. 则始自第k级任一容 许状态x(k)的最小代价为
上式中右端第一项是第k级所付出的代价；第二项是从第
k+1级到第N级的代价和。因此式中求极小的运算分
为两部分：在本级决策u(k)作用下求极小，以及在剩余决 策序列{u(k+1),…,u(N-1)}作用下求极小，则上式变为
其中u(t)无约束，输出误差向量 e(t)= z(t) - y(t), z(t)为理想 输出，F(t),Q(t)非负定，R(t)正定，t0, tf 固定，确定最优 控制u*(t),使得性能指标极小。
在二次型性能指标中，其各项都有明确的物理含义，即
1) 末值项 ，若取
末值项的物理含义表示在控制结束后，对系统末态跟踪 误差的要求。
定矩阵。
定理 若矩阵对{A,B}完全可控， {A,D}完全可观，其中
DDT=Q,且D任意，则存在唯一为Riccati方程 的唯一解。
(3) 最优闭环系统的渐进稳定性 定理 由上面得到的闭环系统 是渐进稳定的。



对可控性的要求是防止不可控不稳定模态包含于性 能指标中，会使J→，从而最优解不存在； {A,D}可观是为了保证最优闭环系统渐进稳定。系统 可控假设和F=0意味着当tf →时，P 为正定矩阵； 对于无限时间调节器，一般要求tf →时，x(tf)=0， 即稳态误差为零，因此性能指标中不必加入终态性 能指标。
解：本题中
可控性与 可观性检测
可知u*(t)存在，解Riccati方程
可得
最优解为
最后，检验闭环系统的稳定性，将最优控制代入状态方程， 通过计算可知闭环系统确实是渐进稳定的。
4.3.4 有限时间时变输出调节器
定理： 设线性时变系统方程为
性能指标为(23),其中u(t)无约束，tf 固定，则存在使J=min 的唯一最优控制 最优性能指标为
4.3.2 有限时间时变状态调节器
设线性时变系统
其中u(t)无约束，F(t),Q(t)非负定，R(t)正定，t0,tf固定，末 端状态x(tf)自由，确定最优控制u*(t)使得性能指标(22)极小.
(1) 最优解得充要条件
定理 对于上述问题，其最优控制的充要条件是
(24)
最优性能指标为
(25)
其中P(t)为n×n对称非负矩阵，满足下列Riccati方程
可控，{A,C}可观，则使性能指标J极小的近似最优控制为
ˆ 式中 P 为对称正定常阵，满足
常值伴随向量为
将最优控制代入系统方程，得到相应的闭环系统的解为最 优轨线x*(t).
解：由条件可知
性能指标可表示为
则
因此，可控可观。
解Riccati方程，得
求伴随向量
确定近似最优控制
将最优控制律代入系统方程，得到闭环系统方程，然后判 断是否稳定，通过计算闭环系统确实是渐进稳定的。
(23)
最优控制问题为：当系统受扰动偏离原输出平衡状态时， 要求产生一控制向量，使得系统输出保持在原平衡状态 附近，并使上面的性能指标极小，称为状态调节器问题。 (3) 输出跟踪系统问题 若C(t)≠I, z(t) ≠ 0，则 最优控制问题为：当理想输入作用于系统时，要求产生一 控制向量，使得系统实际输出向量始终跟踪理想输入 的变化 ，并使性能指标(21) 极小，称为输出跟踪系统 问题。
在(33)中，令t=tf, 与(32)比较，可得结论中的边界条件。因
为P(t)与g(t)均可解，所以将(33)代入u*(t)可得到最优控制
表达式，再将最优控制代入状态方程中可得到最优轨线
x*(t).
4.3.7 无限时间定常输出跟踪系统
定理： 设线性定常系统方程为
性能指标为
e(t)为输出误差向量，并且e(t)= z (t ) y (t ) .若矩阵对{A,B} ˆ
(36)
根据最优性原理，如下关系成立
将上式代入(36)得到动态规划基本递推方程
(37)
利用上式求解最优控制序列时，从过程的最后一项开始， 逐级逆向递推：首先令k=N-1则由式(37)可得到
(38)
式中J*[x[N],N]表示代价函数中的末项值。对于(35)问题， 代价函数中无末值项， J*[x[N],N]=0,故式(38)为单级最优 决策问题。 令k=N-2，则由式(37)可得到
4.3.6 有限时间时变输出跟踪系统
定理： 设线性定常系统方程为
性能指标为
u(t)无约束，则存在使J=min的最优控制为
其中P(t)为对称非负实矩阵，满足
及边界条件 的唯一解。g(t)为伴随状态向量，满足方程
及边界条件 闭环最优跟踪系统
在初始条件下的最优轨线为x*(t)。
证明：利用极小值原理进行证明，构造哈密尔顿函数
由极值条件，在u(t)不受约束时，有
则
由正则方程可知
(30)
(31)
横截条件
(32)
假设 式中P(t),g(t)待定。对上式求导可得
(33)
(34)
将(33)代入(30)，再将得到的 x 代入(34)，可得
再将(33)代入(31)可得
比较上面两个式子可得到
因为上式对任何状态x(t)和任何理想输出z(t)都成立，故等 式两端对应项相等，可得到P(t)和g(t)满足的微分方程。
(性能指标)为
(35)
假 设 f(.) 和 L(.) 连 续 ， L(.) 正 有 界 。 求 最 优 控 制 序 列
{u(0),u(1),…,u(N-1)},使代价函数极小。
说明：上述问题中，k表示N级决策过程中的阶段变量，
x(k)表示第k+1级的初始状态，u(k)表示第k+1级采用
的控制向量。问题中的假设是为了保证最优控制序列
解：本题为N=4级最优控制问题。 令k=3
令k=2
令k=1
令k=0
最优解为：
4.4.3 连续动态规划
(1) 连续系统的最优控制问题
设连续系统的状态方程为
性能指标为
控制u(t)有界；在[t0,tf]上，f(.), (.) ,L(.)连续且可微；并假 设以t为初始时刻，t∈[t0,tf]，x(t)为初始状态时，函数 J(x,t)连续，且对x(t)和t有连续的一阶和二阶偏导数。 求在容许控制域中，确定最优控制u*(t)，使性能指标 最小。
其中Q1=CTQC . 因为Q≥0 必有Q1 ≥0，令 Q1 =DDT ,
由无限时间定常状态调节器定理可得本结论。
由已知可得到
检验系统的可控与可观性
可知满足可控与可观性的要求，利用Riccati方程求出
得到最优控制
将最优控制代入系统方程，检验闭环系统的稳定性，经检 验闭环系统确实是渐进稳定的。
最优轨线满足
P(t)满足
在边界条件上 的唯一解。 证明：将y(t)=C(t)x(t)代入性能指标中，就可以将问题化为 有限时间时变状态调节器问题，即可证得结论。


有限时间时变输出调节器的最优解与有限时间时变 状态调节器的最优解具有相同的最优控制和最优性 能指标表达式，仅在Riccati方程及其边界条件的形 式上有微小差别。 最优输出调节器的最优控制函数不是输出的函数， 仍是状态的现行函数，所以，构成最优控制系统需 要全部状态信息反馈。
为了求上述问题的最优解，除了可以采用极小值原理外， 还可以用连续动态规划法，该方法的数学基础为哈密 尔顿-雅可比方程。
(2) 哈密尔顿-雅可比方程
设在区间[t0,tf]上，控制函数u[t,tf]存在，则最优性能指标
为
由于
与u[t,t+△t]无关，由最优性原理
所以
J ( x, t ) min
*
u[ t ,t t ] t

(3) 最优控制解的存在与唯一性
4.3.3 无限时间定常状态调节器
(1) 问题的描述
设线性定常系统
其中u(t)无约束，要求确定最优控制u*(t)使得性能指标
极小.
(2) 最优解的结果
定理 在上述问题中，若对于任意矩阵D,有DDT=Q,且 是Riccati方程
P
的解，则矩阵对{A,D}完全可观的充要条件是 P 为对称正
2) 积分项 ，若取
该项表示系统在控制过程中的动态误差跟踪的大小。
3) 积分项 ，若
则
该项表示在控制过程中所消耗的能量。
线性二次型最优控制问题的类型：
(1) 状态调节器问题 如果C(t)=I, z(t)=0，则e(t)=-y(t)=-x(t), 并且性能指标为
(22) 最优控制问题为：当系统受扰动偏离原零平衡状态时， 要求产生一控制向量，使得系统状态恢复到原平衡 状态附近，并使上面的性能指标极小，称为状态调 节器问题。 (2) 输出调节器问题 如果z(t)=0，则e(t)=-y(t)， 并且性能指标为