i， j有
lim
n

n
k 1
0， 如 j 为非常返或零常返 f p ij ( k ) ij ， 如 j 为正常返 j
练习

1设状态空间S={1,2,3,4}的齐次马氏链，它的 一步转移概率矩阵为
1 2 1 P 2 1 4 0 1 1 2 1 4 0 1 4 0 0 0 2 0 1 4 1 0
1 2
n 1 ， p 23 ( n ) 0，
n
极限 lim p i 3 ( n ) 存在 i 2 , 3 , 5
对正常返状态
j ，我们一般不讨论极限 1 n
lim p ij ( n )，
n
而只研究： (1) lim p ij ( nd )；2 ) lim (
n

j 0
定理：不可约非周期马 是存在平稳分布，且此 1 ，j u j 证：先证充分性 I
氏链是正常返的充要条 平稳分布就是极限分布
件
设 j， j I 是平稳分布， j
由于 得

i I
i
p ij ( n )
顺序，

j I
i
1， i 0，故可交换极限与求和
N
1 p kj ( n ) kI k
(1)
下面来证明等号成立， 1
由

p ik ( n )
kI

N
p ik ( n )
k 0
先令 n ，再令 N 取极限得： 1 1 kI u k
2 1 j ， 式为严格大于
n
j lim

i I
i
p ij ( n ) i lim p ij ( n )
i I n


1 i i I j
1 j


i I
i
1，故至少存在一个
1
k 0，即
1 uk
0
于是 lim p ik ( n )
I ，则对一切
d ， 如 i 与 j 同属于子集 lim p ij ( nd ) j n 0， 否则
d 1
其中 I
G ，前面定理给出。
s s0
特别当 d 1，则对一切 lim p ij ( n )
n
i， j有 I 称为极限分布。
Pi , j 1, i C
(n ) j C
2 .是正常返情形
以上讨论了零常返与非 情形。这比前面两种情
常返情形，现讨论正常 况要复杂一此，事实上
n
返 ，
如果状态 j 是正常返的， lim p ij ( n ) 不一定存在，即使 存在也可能与 i 有关，例如下图描述了 一个有 6 种 见
回顾
定 理 ： 如 果 i j， if i 常 返 ， th en j 也 常 返 ， 且 f ji 1， i j。
定 理 4.4： (1)若 i 零 常 返 lim p ii ( n ) 0；
n
( 2 ) 若 i 正 常 返 lim p ii ( n )
n
1
1
j
1 , j j
2 lim
1 n
n

n
p ij ( k )
j 平均次数，
k 1

1 n
n
p jj ( k )表示从 j 出发，在 n 步之内返回到的
n
k 1

p jj ( k )表示单位时间内再回到
j 的平均次数。
k 1
j
nf
n 1

jj
( n )表示平均返回时间，如 1
研究其状态类型。
2 设齐次马氏链{Xn,n=0,1,2,…}状态空间为 S＝{1,2,3,4,5},其一步转移概率矩阵为

0 .5 0 P 0 0 .2 5 0 .3
0 0 .2 5 0 0 .5 0
0 .5 0 0 .3 0 0 .3
0 0 .7 5 0 0 .2 5 0
二、平稳分布
考虑绝对概率
j ( n ) P X n j , j I 的极限
j (n)

i I
i
( n 1) p ij
若 j ( n ) 与 n 无关 , 记 j ( n ) j , 则上式可写成
j
定义：设

i I
i
p ij
间为 I ，
j 的概率，式中
显然：

d 1
f ij
(r)

r 0
m 0 r0


d 1
f ij ( md r ) f ij ( m ) f ij
m 0

展开： f ij ( 0 ) f ij (1) f ij ( d 1) f ij ( d ) f ij ( d 1) f ij ( 2 d 1) f ij ( 2 d ) f ij ( 2 d 1) f ij ( 3 d 1)
j 0 . 5 小时，
平均半小时返回一次，
j
2 单位时间内返回二次。
而
1
j
也表示从 j 出发，单位时间回到 1 n
j 的平均次数，
所以应有

n
p jj ( k )
1
k 1
j
i 出发能否到达 理： j的
如果质点由
i 出发，则要考虑从
情况，即要考虑
定理：对任意状态 1 n
f ij的大小，于是有如下定
p ij ( nd r )

n
f ij ( v ) p jj ( nd r v ) f ij ( md r ) p jj ( n m ) d
v0
m 0

于是，对任意的
1 N n有
m 0

N
f ij ( md r ) p jj ( n m ) d p ij ( nd r )
P ， 则对
P P ，当 n 时，因为 C ，故该
i
0
引理： C 是闭集的充要条件为对 都有 p ik ( n ) 0， n 1。
任意 i C 及 k C
§4.4
p n 的渐近性质与平稳分布 ij
在实际应用中，人们常关心的问题：
lim p ij ( n ) 是 否 存 在 ?
n
若 存 在 ， 其 极 限 是 否 与 i有 ?
j


kI
k
p ij n , 令 n 取极限得： p kj n
j

kI
k
lim
n

1
j

1
kI
k

1
kI
k
1
1 , j j
I 是平稳分布。
有限马尔可夫链性质：
1 所有非常返状态组成的 2 没有零常返状态； 3 必有正常返状态； 4 不可约有限马氏链只有
定理：如 j 为正常返，周期为 及 0 r d 1有 lim p ij ( nd r ) f ij
n (r)
d ，则对任意的
i

d
j
证：因为 d 为 j 的周期，所以当 p ij ( n ) 0
所以
n 不能被 d 整除时，
n 0 (mod( d ))
nd r
集合不可能是闭集；
正常返态；
5 I D C 1 C 2 C n。
每个 C n， n 1, 2 , 均是由正常返态组成的 不可约闭集， D 是非常返态。 有限
对于一般的马尔可夫链 若存在，是否唯一？有
，其平稳分布是否存在 以下结论：
常返状态构成
？
定理：设 C 为马尔可夫链中全体正 的集合，则有：
n
k
0 k 0 0 为非常返 , 或零常返 链是正常返的。

k 为正常返态，故该马氏
再证必要性： 设马氏链是非周期正常 lim p ij n
n
返的，于是
1 uk
0
由方程 c k ，对任意正整数 p ij ( n m )
N ，有

1 平稳分布不存在的充要 2 平稳分布唯一存在的充
常返闭集；
条件为 C ； 要条件为只有一个基本
3 有限状态马尔可夫链的 4 有限不可约非周期马尔
分布。
平稳分布总存在； 可夫链存在唯一的平稳
证 1 充分性：反证，假设该
马氏链存在一个平稳
分布 0 则由平稳分布定义知有 n 1有
p ik ( m ) p kj ( n )
kI

N
p ik ( m ) p kj ( n )
k 0
令 m 取极限得： 1 p kj ( n ) j k 0 u k 1
N
再令 N 取极限得： 1 p kj ( n ) j k 0 k 1
n

n
p ij ( k )。
k 1
(1) lim p ij ( nd )
n
记
f ij
(r )

m 0


f ij ( md r )， r d 1， 0 n r mod( d ) ( 不计周期 ) d 为马氏链的周期。
表示从 i 出发，在某时刻 首次到达状态