5.5 随机状态转移模型
Mathematical Modeling 2008
状态与状态转移
转移概率 pij P(Xn1 j Xn i), i, j 1, 2, n 0,1,L
Xn+1只取决于Xn和pij , 与Xn-1, …无关。
第n+1年的状态概率可由全概率公式得
P(Xn1 1) P(Xn1 1 Xn 1)P(Xn 1) P(Xn1 1 Xn 2)P(Xn 2)
描述一类重要的随机动态系统（过程）的模型
已知现在，将来与过去无关（无后效性）
➢ 系统在每个时期所处的状态是随机的。 ➢ 从一时期到下时期的状态按一定概率转移。 ➢ 下时期状态只取决于本时期状态和转移概率，
与以前的各时期状态无关。
马氏链 (Markov Chain) ——时间、状态均为离散的随机转移过程
P(Xn1 2) P(Xn1 2 Xn 1)P(Xn 1) P(Xn1 2 Xn 2)P(Xn 2)
a1(n 1) a1(n) p11 a2 (n) p21 状态转移具 a2 (n 1) a1(n) p12 a2 (n) p22 有无后效性
随机状态转移模型——马氏链模型
Department of Mathematics HUST
状态与状态转移
设投保时处于健康状态，预测 a(n), n=1,2…
n
01 2
3 50
a1(n) 1 0.8 0.757 0.7285 0.1293 0 a2(n) 0 0.18 0.189 0.1835 0.0326 0 a3(n) 0 0.02 0.054 0.0880 0.8381 1
MMaatthheemmaattiiccaall MMooddeelliinngg 22000088
概率方法建模(二）
5.5 随机状态转移模型 5.6 马尔可夫链的应用模型
Department of Mathematics HUST
马氏链模型
MMaatthheemmaattiiccaall MMooddeelliinngg 22000088
预0.2测pa22(n1),np=211,20….3
a(n) (a1(n), a2 (n))保 时健康
n0 a1(n) 1
1
2
0.8 0.78
3 …∞ 0.778 … 7/9
a2(n) 0
0.2 0.22
0.222 … 2/9
设投保
a1(n) 0
Department of Mathematics HUST
5.5 随机状态转移模型
Mathematical Modeling 2008
问题
例1. 人的健康状况分为健康和疾病两种状态，设对特 定年龄段的人，今年健康、明年保持健康状态的概率 为0.8, 而今年患病、明年转为健康状态的概率为0.7。
若某人投保时健康, 问10年后他仍处于健康状态的概率。
Department of Mathematics HUST
5.5 随机状态转移模型
MMaatthheemmaattiiccaall MMooddeelliinngg 22000088
状态与状态转移 ➢随机变量Xn：第n年的状态 状态概率 ai (n)
Xn
1, 2,
第n年健康 第n年疾病
ai (n) P(Xn i), i 1, 2, n 0,1,L
➢今年处于状态i, 来年处于状态j的概率 pi:j 转移概率
pij P(Xn1 j Xn i), i, j 1, 2, n 0,1,L
0.7
0.3
1
2
0.8
0.2
p11 0.8 p12 1 p11 0.2
p21 0.7 p22 1 p21 0.3
Department of Mathematics HUST
a2 (n 1) a1(n) p12 a2 (n) p22 a3 (n) p32
a3 (n 1) a1(n) p13 a2 (n) p23 a3 (n) p33
Department of Mathematics HUST
5.5 随机状态转移模型
Mathematical Modeling 2008
5.5 随机状态转移模型
MMaatthheemmaattiiccaall MMooddeelliinngg 22000088
状态与状态转移
a(aan12()(nn1(1)a) 1(aan11)((n,n)a)pp211(12n)aa)，22((nn给))pp定2212 app(11011),
0.8 p12 1 p21 0.7
死亡为第3种状态，记 Xn=3~ 死亡
0.8
0.18
0.25
0.65
1
2
0.02 3 0.1
p11=0.8, p12=0.18, p13=0.02
p21=0.65, p22=0.25, p23=0.1 p31=0, p32=0, p33=1
1
a1(n 1) a1(n) p11 a2 (n) p21 a3 (n) p31
0.7 0.77 0.777 … 7/9
时疾病
a2(n) 1
0.3
0.33 0.333 … 2/9
注 n时状态概率趋于稳定值,稳定值与初始状态无关
Department of Mathematics HUST
5.5 随机状态转移模型
Mathematical Modeling 2008
问题
例2. 健康和疾病状态同上，Xn=1~ 健康, Xn=2~ 疾病
➢ 不论初始状态如何，最终都要转到状态3 ；
注 ➢ 一旦a1(k)= a2(k)=0, a3(k)=1, 则对于n>k, a1(n)=0，
a2(n)=0, a3(n)=1, 即从状态3不会转移到其它状态。
Department of Mathematics HUST
5.5 随机状态转移模型
Mathematical Modeling 2008
Department of Mathematics HUST
Mathematical Modeling 2008
5.5 随机状态转移模型
通过有实际背景的例子介绍马氏链的基本概念和性质。
问题背景
人的健康状态随着时间的推移会随机地发生转变 ， 保险公司要对投保人未来的健康状态作出估计, 以制定保险金和理赔金的数额。