1. 有十个城市①为起点，⑩为终点。

站与站之间称为段，每段路程所用的时间（小时）写在段上，则应如何行使，让从①到⑩所花的时间最短。

解：⑴ 4N =11(8)3,(9)4J J ==将距离数字标注于图中，数字旁括号内的文字表示相应的决策变量。

由于从8到10及从9到10都只有一种可能，所以本级无决策问题。

⑵3N =本级决策有三种选择。

每种选择中又有两条可能的路线。

例如，从5出发，可达8，也可达9，所以131(5,8)(8)13(2)min min 4(5,9)(9)44d J J d J ++⎧⎫⎧⎫===⎨⎬⎨⎬++⎩⎭⎩⎭说明5到10的最短距离为4，路线为5-8-10决策变量为2(5)8S =同理，从6出发时，有121(6,8)(8)63(6)min min 7(6,9)(9)34d J J d J ++⎧⎫⎧⎫===⎨⎬⎨⎬++⎩⎭⎩⎭说明6到10的最短距离为7，路线为6-9-10决策变量为2(6)9S = 从7出发时，有121(7,8)(8)33(7)min min 6(7,9)(9)34d J J d J ++⎧⎫⎧⎫===⎨⎬⎨⎬++⎩⎭⎩⎭说明7到10的最短距离为6，路线为7-8-10决策变量为2(7)8S = ⑶2N =本级有三种选择，计算过程如下：2322(2,5)(5)74(2)min (2,6)(6)min 471166(2,7)(7)d J J d J d J ++⎧⎫⎧⎫⎪⎪⎪⎪=+=+=⎨⎬⎨⎬⎪⎪⎪⎪++⎩⎭⎩⎭决策变量3(2)5(6)S =2322(3,5)(5)34(3)min (3,6)(6)min 27746(3,7)(7)d J J d J d J ++⎧⎫⎧⎫⎪⎪⎪⎪=+=+=⎨⎬⎨⎬⎪⎪⎪⎪++⎩⎭⎩⎭决策变量3(3)5S =2322(4,5)(5)44(4)min (4,6)(6)min 17856(4,7)(7)d J J d J d J ++⎧⎫⎧⎫⎪⎪⎪⎪=+=+=⎨⎬⎨⎬⎪⎪⎪⎪++⎩⎭⎩⎭决策变量3(4)5(6)S =⑷1N =本级决策是唯一的，计算结果为2422(1,2)(2)211(1)min (1,3)(3)min 471138(1,4)(4)d J J d J d J ++⎧⎫⎧⎫⎪⎪⎪⎪=+=+=⎨⎬⎨⎬⎪⎪⎪⎪++⎩⎭⎩⎭决策变量4(1)3(4)S =可确定最短路线为1-3-5-8-102．一维线性系统，设变量无约束，最优控制问题的数学模型为：22210(),k k k k k J qx ru T x ax bu +=+=+∑初始状态0x 为已知。

式中,,,a b q r 为常数，0,=1r T >设。

求最优控制序列。

解： 本题为三级决策问题. 因为=1T ，22210(),k k k k k J qxru T x ax bu +=+=+∑①令3,2N k ==*22122322,J qx ru x ax bu =+=+因为k u 无约束，故令*12220J ru u ∂==∂求得*20u =将上述结果代入*1J 方程，易得*212J qx = ② 2,1N k == 211x ax bu =+*22*2111222121222111122221111()[()](1)2()J qx ru J q x x ru q x ax bu ru q a x abqx u qb r u =++=++=+++=++++*2211122()0J abqx qb r u u ∂=++=∂解得*1121abq u x qb =-+将上述结果代入*2J 方程，易得 2222*222122(32)[(1)](1)a qb qb r J q a x qb ++=+++ ③ 1,0N k == 100x ax bu =+*22*3002222222220122222222220022(32)[(1)](1)(32)[(1)]()(1)J qx ru J a q b qb r qx ru q a x qb a q b qb r qx ru q a ax bu qb =++++=+++++++=++++++解得*0u 将上述结果代入*3J 方程，易得 3. 22210(),k k k k k J xru T x ax bu +=+=+∑，求最优控制序列。

解：本题为三级决策问题. 因为=1T ，22210(),k k k k k J xru T x ax bu +=+=+∑①令3,2N k ==*22122322,J x ru x ax bu =+=+因为k u 无约束，故令*12220J ru u ∂==∂求得*20u =将上述结果代入*1J 方程，易得*212J x = ② 2,1N k == 211x ax bu =+*22*2111222121222111122221111()[()](1)2()J x ru J x x ru x ax bu rua x abx ub r u =++=++=+++=++++*2211122()0J abx b r u u ∂=++=∂解得*1121ab u x b =-+将上述结果代入*2J 方程，易得 222*222122(32)[(1)](1)a b b r J a x b ++=+++③ 1,0N k == 100x ax bu =+*22*30022222222012222222220022(32)[(1)](1)(32)[(1)]()(1)J x ru J a b b r x ru a x b a b b r x ru a ax bu qb =++++=+++++++=++++++解得*0u 将上述结果代入*3J 方程，易得4.运用动态规划方法确定下列系统的最优控制3220(1)2()(),0,1,2,3[()()]t x t x t u t t J x t u t =+=+==+∑解：本题为四级决策问题。

① 3t =，(4)2(3)(3)x x u =+ *221(3)(3)J x u =+*12(3)0(3)J u u ∂==∂求得(3)0u =将上述结果代入*1J 方程，易得*21(3)J x = ②2t =，(3)2(2)(2)x x u =+，*22*2122222(2)(2)(2)(2)(3)5(2)2(2)4(2)(2)J x u J x u x x u x u =++=++=++*24(2)4(2)0(2)J u x u ∂=+=∂解得(2)(2)u x =-上述结果代入*2J 方程，易得*223(2)J x = ③1t =，(2)2(1)(1)x x u =+*22*3222222(1)(1)(1)(1)3(2)13(1)4(1)12(1)(1)J x u J x u x x u x u =++=++=++*38(1)12(1)0(1)J u x u ∂=+=∂解得3(1)(1)2u x =-上述结果代入*3J 方程，易得*233(1)J x = ④0t =，(1)2(0)(0)x x u =+*22*4322222(0)(0)(0)(0)4(1)17(0)5(0)16(0)(0)J x u J x u x x u x u =++=++=++*410(0)16(0)0(0)J u x u ∂=+=∂解得8(0)(0)5u x =-上述结果代入*4J 方程，易得*2421(0)5J x =5.系统方程为00()(),()dx ax t bu t x t x dt =-+=求最优控制使12210()tJ cx t u dt =+⎰取最小值，此处,,a b c 均为正常数。

解：令***2(,,)()()T T J J J H x u u ax bu x x x ∂∂∂=-+∂∂∂ ①对**(,)J u x x∂∂隐式解。

因为()u t 无约束，故令****120(,)=-2T T H J J J u b u x b u x x x∂∂∂∂=+=∂∂∂∂得 因为2220H u ∂=>∂故求得的**(,)J u x x∂∂可使哈密顿函数H 极小。

把***1(,)=-2T J J u x b x x ∂∂∂∂代入哈密顿—雅可比方程得：2***21()4T J J J b ax t x x⎛⎫∂∂∂=+ ⎪∂∂∂⎝⎭ 考虑该问题为定常问题，且f t 自由，因此最优函数仅为()x t 的函数，因此有2**21()04TJ J b ax x x ⎛⎫∂∂+= ⎪∂∂⎝⎭可得*=0x J ∂∂或*24a =-bJ x x ∂∂即可得：2**22a (bJ M x ==-恒值）或J **2=0=-a x b u u 最优控制或6.对于系统422,[]2x x u J u x dt ==++⎰最小化写出哈密顿-雅可比-贝尔曼方程式。

解：构造哈密顿函数**242J 1J L ()X 2xT H f x x u u ∂∂=+=+++∂∂ 根据哈密顿-雅可比方程有***242J J 1J min L min[()]2x T f x x u u x x ⎡⎤∂∂∂-=+=+++⎢⎥∂∂∂⎣⎦考虑控制不受限制可得：***H J 1J 20u 2u u x x ∂∂∂=+=→=-∂∂∂ 所以：**242J 11J ()24Xx x t ∂∂-=++∂∂。