用 Matlab 计算如下： s0=[1/4 1/2 1/4]; P=[1/4 3/4 0;1/3 1/3 1/3;0 1/4 3/4]; S2=s0*P.^2=(0.0712 0.2118 0.1962) 稳态分布 T=(t1,t2,t3),TP=T,变换后 (P’-E)T’=0 T=(0.16 0.36 0.48) 附程序： liyiw.m
3 (1) (k ) ( n)
(
)
u j ≥ 0, j = 1, 2,L , n
∑u
i =1
n
i
ห้องสมุดไป่ตู้=1
定义 3：若方阵 P 的每行都为概率向量，则称此方阵为概率矩阵。 可以证明，如果矩阵 A 和 B 皆为概率矩阵，则 AB, Ak , B k 也都是概率矩阵(k 为正整数) 由所有一步转移概率组成的矩阵称为一步转移概率矩阵表示为：
2
马尔可夫链是参数离散、状态离散的最简单的马尔可夫过程。在马尔可夫链 X ( t ) , t ∈ T 中，一般取 参数空间 T = {0,1, 2, L} 。马尔可夫链的状态空间 E 的一般形式是 E = {0,1, 2,L} 。 1、马尔柯夫链定义： 一个随机序列 {X(t), t=1,2,3,…}取值于正整数空间 E={0,1,2,……},或者为 E 的子集， 如果有： P X ( tn ) = xn | X ( t1 ) = x1 , L X ( tn −1 ) = xn −1
( 0)
就可以用上式计算任意时段的状态概率 S
(k )
。
2、 吸收链 在马尔可夫链中，称 pij = 1 的状态 i,j 为吸收状态。如果一个马尔可夫链中至少包含一个吸收状态，并 且从每一个非吸收状态出发，都可以到达某个吸收状态，那么这个马尔可夫链称为吸收链。 含有 m 个吸收状态和(n-m)个非吸收状态的吸收链，其转移矩阵的标准形式为
(1) P ( X ( t + 1) = xn | X ( t ) = xn −1 ) = P ( X ( t + 1) = j | X ( t ) = i ) = pij ( t ) = pij ( t )
{
}
{ {
} }
这称为马氏链的一步转移概率。为马尔柯夫链从状态 i 变为状态 j 的条件概率。 它满足：(概率的加法公式) pij(1)(t)≥0 i j ∈E
1
马尔科夫链模型
在自然界与社会现象中，许多随机现象遵循下列演变规律，已知某个系统(或过程)在时刻 t = t0 所处的 状态，与该系统(或过程)在时刻 t > t0 所处的状态与时刻 t < t0 所处的状态无关。例如，微分方程的初值问题 描述的物理系统属于这类随机性现象。随机现象具有的这种特性称为无后效性(随机过程的无后效性)，无 后效性的直观含义：已知“现在” ， “将来”和“过去”无关。 在贝努利过程 X ( n ) , n ≥ 1 中，设 X ( n ) 表示第 n 次掷一颗骰子时出现的点数，易见，今后出现的点 数与过去出现的点数无关。 在维纳过程 X ( t ) , t ≥ 0 中，设 X ( t ) 表示花粉在水面上作布朗运动时所处的 位置，易见，已知花粉 目前所处的位置，花粉将来的位置与过去的位置无关。 在 泊松 过程 {N ( t ) , t ≥ 0} 中，设 N ( t ) 表示时间段 [0, t ] 内进入某 商店的 顾客数。易见，已知时 间段
马尔可夫链模型：
设系统在 k = 0 时所处的初始状态 S
( ) ( S ( ) = S1( ) , S 2 ,L , Sn
k k k
( 0)
( ) ( = S1( ) , S 2 ,L , Sn
0 0
(
0)
) 为已知，经过 k 次转移后所处的状态向量
(
k)
) ( k = 1, 2,L) ，则
p12 L p22 L M pn 2 L p1n p2 n M pnn
转移矩阵必为概率矩阵，且具有以下两个性质： 1) P
(k )
= P ( k −1) P = Pk
2) P
(k )
下面主要学习正则链和吸收链 1、正则链：这类马氏链的特点是，从任意状态出发经过有限次转移都能达到另外的任意状态，有如下 定义. 定义 4 一个有 n 个状态的马氏链如果存在正整数 N，使从任意状态 i 经过 N 次转移都已大于零的概率 到达状态 j ( i, j = 1, 2, L , n ) ，则称为正则链。 正则链的判断方法：对于概率矩阵 P，若幂次方 P 的所有元素皆为正数 (指 P 的每一元素大于零 )， 则矩阵 P 称为正规概率矩阵，此时马氏链称为正则链，或者称马氏链具有遍历性。 遍历性的直观含义：一个遍历的马尔可夫链经过相当长的时间后，它处于各个状态的概率趋于稳定， 且概率稳定值与初始状态无关。在工程技术中，当马尔可夫链的极限概率分布存在时，它的遍历性表示一 个系统经过相当长时间后趋于平衡状态，这时，系统处于各个状态的概率分布即不依赖于初始状态，也不 在随时间的推移而改变。 设系统的极限分布(也是稳态分布)用行向量 π = ( π 0 , π1 , π 3 , L , π n ) 来表示，一步转移概率矩阵为 P， 则有
k
S(
k)
p11 ( 0) k ( 0 ) p21 =S P =S M pn1
此式即为马尔可夫预测模型。
k 0 由上式可以看出，系统在经过 k 次转移后所处的状态 S ( ) 只取决于它的初始状态 S ( ) 和转移概率 P。
因此对于马氏链模型最基本的问题是构造状态 X ( t ) 及写出转移矩阵 P，一旦有了 P，那么给定初始状态概 率S
∑p
j∈E
(k ) ij
(t ) = 1
i∈E
6、平稳马尔柯夫链的性质： 如果马尔柯夫链是平稳的，即与时刻无关，与 t 无关，我们讨论的马尔柯夫链只是这种最简单的情况。这 种平稳马氏链称为齐次马氏链。由于这种齐次马尔柯夫链的转移概率与时间无关，因此去掉其时间变量 t， 其中的一步转移概率为 pij = pij ， k 步转移概率为 pij ，n 步转移概率为 pij 。 定义 2：向量 u = u1 , u2, L , un 称为概率向量，如果 u 满足：
{
}
1/ 4 3/ 4 0 P= 1/ 3 1/ 3 1/ 3 0 1/ 4 3/ 4
初始分布为 S
( 0)
= (1/ 4,1/ 2,1/ 4 ) ，即
则
1 1 1 P ( X ( 0 ) = 1) = , P ( X ( 0 ) = 2 ) = , P ( X ( 0 ) = 3 ) = 4 2 4 r r 2 P ( 2 ) = P ( 0 ) P = (113 / 576, 230 / 576, 233 / 576 )
−1
= ∑ Q s ，记元素全为 1 的列向量
s =0
∞
e = (1,1,L ,1)′ ，则 y = Me 的第 i 分量是从第 i 个非吸收态出发，到某个吸收状态吸收的平均转移次数。
设状态 i 是非吸收态，j 是吸收状态，那么首达概率 fij ( n ) 实际上是 i 经 n 次转移被 j 吸收的概率，而
p11 p P = 21 M pn1 0.8 0.2 P 1 = 0.7 0.3
p12 L p22 L M pn 2 L
p1n p2 n M pnn
0.8 0.18 0.02 P2 = 0.65 0.25 0.1 0 0 1
{
}
P ( X n ≤ xn | X ( t1 ) = x1 ,L X ( tn −1 ) = xn −1 ) = P ( X n ≤ xn | X ( tn −1 ) = xn −1 ) , xn ∈ R
则称 X ( t ) , t ∈ T 为马尔可夫过程。 在这个定义中，如果把时刻 tn −1 看作“现在” ，时刻 tn 是“将来” ，时刻 t1 ,L , tn −2 是“过去” 。马尔可夫 过 程 要 求 ： 已 知 现 在 的 状 态 X ( tn −1 ) = xn −1 ， 过 程 将 来 的 状 态 X ( tn ) 与 过 程 过 去 的 状 态
I m ×m Pn×n = R
Q( n −m )×( n − m ) 0
(1)
其中矩阵 R 中含有非零元素， I m×m 为 m 阶单位矩阵。 Q 不是概率矩阵，它至少存在一个小于 1 的行和， 且如下定理成立。 定理 1 对于吸收链 P 的标准形式(1), ( I − Q ) 可逆， M = ( I − Q )
{
}
X ( t1 ) = x1 ,L , X ( tn −2 ) = xn −2 无关。这就体现了马尔可夫过程具有无后效性。通常也把无后效性称为马尔
可夫性。 从概率论的观点看，马尔可夫过程要求，给定 X ( t1 ) = x1 ,L , X ( tn −1 ) = xn −1 时， X ( tn ) 的条件分布仅 与 X ( tn −1 ) = xn −1 有关，而与 X ( t1 ) , L , X ( tn −2 ) 无关。 二、马尔可夫链及其转移概率
{
}
(
)
= P ( X ( tn ) = xn | X ( tn −1 ) = xn −1 )
xi ∈E={0,1,2,……} ; i=1,2,… 则称为序列 X ( t ) , t ∈ T 为马尔柯夫(Markov)链。这种序列具有马尔可夫性，也叫无后致性。注意：t 和 i 均取整数。 2、马尔柯夫链的含义： 可以这样理解：序列 X ( t ) 的“将来”只与“现在”有关而与“过去”无关。 3、马尔柯夫链的状态： 马尔柯夫链序列 X ( t ) 中的某一个符号 X(ti)的数值一定为 E 中的某一个元素 x （ ， 这时， 称 xI(或 i 或 xj） xj)为随机序列的一个状态 Si。 4、马尔柯夫链的一步转移概率 马尔柯夫(Markov) 链的统计特性用条件概率（状态转移概率）来描述： 习惯上把转移概率记做