（二）贴现形式的经济学动态规划求解
（4）欧拉方程： 把由包络定理 得出的
df xk1
v xk1, uk1
代入：
dxk 1
xk 1
vxk , uk df xk1 T xk , uk 0
uk
dxk 1
uk
得欧拉方程：
vxk , uk v xk1, uk1 T xk , uk 0
v
xk , uk
f
~xk 1
k n 1, n 2,,1,0
其中：~xk1 T xk , uk*
第十三讲 动态规划的经济学应用
（二）贴现形式的经济学动态规划求解
（4）欧拉方程：
把状态转移方程 xk1 T xk ,uk 代入贝尔曼方程：
f
xk
uk
max
xk Dk xk
vxk
,
uk
f
T
xk
第十三讲 动态规划的经济学应用
（二）贴现形式的无限期动态规划
目标函数具有贴现形式：
vk xk ,uk kvxk ,uk ,0 1
（1）带贴现的平稳无限期多阶段决策模型
Max
kvxk , uk
k 0
S.T. xk1 T xk , uk k 1,2,, n
uk U , k 1,2,, n 1 x0给定
,
uk
右边式子对控制变量求取最大化一阶条件，得：
vxk , uk df xk1 T xk , uk 0
uk
dxk 1
uk
贝尔曼方程对状态变量使用包络定理，得：
df xk vxk , uk df xk1 v xk1, uk1
dxk
xk
dxk 1
xk 1
第十三讲 动态规划的经济学应用
uk
xk 1
uk
第十三讲 动态规划的经济学应用
（三）确定性动态规划的经济学例子
（1）确定性条件下的储蓄
消费者的目标：选择每期消费实现长期的效用最大化
Max tU ct t 0 S.T. At1 Rt At yt ct t 0,1,2,
A0给定 At ：t期初的财富； yt ：t期的劳动力收入； Rt ：t期储蓄利率； ct ：t期的消费
yt ,
Rt 1
MaxU st
At
yt
st
f
Rt st ,
yt 1 ,
Rt
右边式子对控制变量求取最大化一阶条件，得：
U At yt st f Rt st , yt1, Rt Rt st 0
st
At 1
st
U ct At
yt st
st
f
Rt st , yt1, Rt
xt
第十三讲 动态规划的经济学应用
（三）不确定性动态规划问题
（2）随机欧拉方程
贝尔曼方程右端的一阶必要条件：
rxt ,
u t
ut
E
g
xt , ut
u t
,
t
V
g
xt
,
ut
,
t
xt
0
贝尔曼方程应用包络定理，得：
V
xt
rxt , ut
xt
V xt1
r xt1, ut1
xt 1
由上边两式联立得，随机欧拉方程：
st
EtV
st Rt
,
Rt
第十三讲 动态规划的经济学应用
（四）不确定性动态规划举例
（1）回报为随机时的消费
（二）几个确定性例子
（2）最优增长
状态变量为：kt
控制变量为：kt 1
一期报酬函数 vxt ,ut 变为：Uyk t kt1
定义值函数：
由：f
xk
uMk ,uka1x, i0
iv
xk i , uk i
得：f
kt
Max kt1 ,kt2 , i0
iU y k ti
,
Rt
U
ct
1
代入最大化一阶条件：U ct
Rt
f
Rt st , yt1, Rt
At 1
0
得到关于St的欧拉方程为：
U ct RtU ct1 0
欧拉方程 :U ct RtU ct1经济学含义：（拉姆齐规则）
最优的消费选择应使得：分配到这一期要的消费的边际效用
等于分配到下一期的消费的边际效用乘上利率和贴现率
第十三讲 动态规划的经济学应用
（一）经济学的动态规划建模步骤
（9）求欧拉方程：
把状态转移方程 xk1 Tk xk ,uk 代入贝尔曼方程：
fk xk
max
uk xk Dk xk
vk
xk , uk
fk1 Tk xk , uk
右边式子对控制变量求取最大化一阶条件，得：
vk xk , uk dfk1 Tk xk , uk 0
第十三讲 动态规划的经济学应用
（二）几个确定性例子
（1）确定性条件下的储蓄
状态变量定义为：At , yt , Rt1
控制变量定义为：st Rt1At1 At yt ct 转移方程为：At1 Rt st 因为： ct At yt Rt1At1
一期报酬函数 vxt ,ut 变为：
第十三讲 动态规划的经济学应用
（二）几个确定性例子
（2）最优增长
消费者的目的是最大化效用：
Max tU ct t 0
S.T. ct kt1 yk t t 0,1,2,
ct 0
k0 0给定
ct : 人均消费；kt : 人均资本存量；
yk t : 人均资本产出函数
第十三讲 动态规划的经济学应用
第十三讲 动态规划的经济学应用
（四）不确定性动态规划举例
（1）回报为随机时的消费
状态变量定义为：At ,Rt1 控制变量定义为：st At ct
转移方程为：
At1 Rt At ct Rt st
报酬函数为：
U ct U At st
贝尔曼方程：
V
At
,
Rt
MaxU st
At
xk
Max
uk ,,un1
Vk ,n
xk , uk , uk1, uk2 ,, un1
Vk,n
xk
,
p* k ,n
xk
（8）写出动态规划基本方程（贝尔曼方程）：
fk xk
max
uk xk Dk xk
vk
xk , uk
fk 1 ~xk 1
k n 1, n 2,,1,0
其中：~xk1 Tk xk , uk*
Max
st ,st1 ,
i
0
iU
At i
yt i
sti
贝尔曼方程：
f
At ,
yt , Rt1
MaxU st
At
yt
st
f
At 1 ,
yt1, Rt
第十三讲 动态规划的经济学应用
（二）几个确定性例子
（1）确定性条件下的储蓄
把状态转移方程 At1 Rt st 代入贝尔曼方程：
f
At ,
第十三讲 动态规划的经济学应用
（二）贴现形式的经济学动态规划求解
（2）定义值函数：
f
xk
Max V uk ,uk1, k ,n
xk , uk , uk1, uk2 ,
Max
uk ,uk1 ,
i
0
iv
xk i , uk i
（3）贝尔曼方程：
f
xk
max
uk xk Dk xk
At 1
Rt
0
U ct
Rt
f
Rt st , yt1, Rt
At 1
0
第十三讲 动态规划的经济学应用
（二）几个确定性例子
（1）确定性条件下的储蓄
贝尔曼方程对状态变量使用包络定理，得： （本尼维斯特——沙因克曼公式）
df xk vxk , uk
dxk
xk
即：df At , yt , Rt1 U At yt s, yt , Rt1
At
U At
yt
st
d At
yt dAt
st
f
At , yt , Rt1
At
U ct
f
At1, yt1,
At 1
Rt
U ct1
第十三讲 动态规划的经济学应用
（二）几个确定性例子
（1）确定性条件下的储蓄
把本尼维斯特
—
沙因克曼公式：f
At
1, yt1 At 1
（3）确定决策变量uk 以及每个阶段的允许策略集
合 Dk uk
（4）写出状态转移方程：xk1 Tk xk ,uk
第十三讲 动态规划的经济学应用
（一）经济学的动态规划建模步骤
（5）明确各个阶段的一期报酬函数：vk xk ,uk
确定整个阶段的目标函数：
n1
V0,n x0, x1,, xn vk xk ,uk vn xn k 0
vk1 xk 1, uk 1
xk 1
代入：
vk xk , uk dfk1 Tk xk , uk 0
uk
dxk 1
uk
得欧拉方程：
vk xk , uk vk1 xk1, uk1 Tk xk , uk 0
uk
xk 1
uk
（关于某变量的差分方程，可用差分方程法求解或
用迭代法模拟解的路径）
ykt
kt 1
kt1
f kt1
kt 1
0
U ykt kt1 f kt1 0
第十三讲 动态规划的经济学应用