江西理工大学理学院
由图知 3 吸收的，故{3}是闭集。
{1,4},{1,4,3},{1,2,3,4}都是闭集. 其中{3}及{1,4}是不可约的。 I 含闭子集，故{X n }不是不可约链
江西理工大学理学院
定理 4.10 任一马氏链的状态空间 I ,可惟一地分解成有限个或 可列个互不相交的子集 D, C1 , C 2 ,L之和，使得
= 1,
( f11n )
= 0, n ≠ 3 ∴ µ1 =
n =1
∑
∞
(n) nf 11
=3
解
( ( f113 ) = 1, f11n ) = 0, n ≠ 3 ∴ µ1 =
n =1
( nf 11n ) = 3 ∑
∞
江西理工大学理学院
可见1为正常返状态且周期等于3。 含1的基本常返闭集为
C1 = {k : 1 → k } = {1,3,5}
江西理工大学理学院
由状态转移图易见各状态的周期 d = 3 ， 固定状态 i = 1，
令
( 3 n + 1) G1 = { j : 对某n ≥ 0有p1, j > 0} = {3,5} ( 3 n+ 2 ) G2 = { j : 对某 n ≥ 0有p1, j > 0} = {2}
( G0 = { j : 对某 n ≥ 0有p1,3jn ) > 0} = {1,4,6}
江西理工大学理学院
§4.3 状态空间的分解
前面给出了马氏链状态分类的一些基本概念 以及如何判别状态分类的定理，但如果对状态空 间中的每个状态都按照这些定理逐一检查分类， 这不仅是很繁琐的甚至是不可能的，因此,如果 能够借助状态之间的转移使得对状态分类不再是 一个一个地进行，而是“群体”地进行，也就是说 如果能从某个状态的分类来确定一类状态的分 类，无疑这将给我们带来很大方便。从某种意义 上看相当于对状态空间进行分解。
(n p ik ) = 0, n ≥ 1
证略
例 4.11 设马氏链{X n }的状态空间 I = {1,2,3,4,5}, 转移矩阵为
⎡1 2 ⎢1 2 ⎢ P=⎢ 0 ⎢ 1 ⎢ ⎢ 0 ⎣ 0 0 0 0 1 1 2 0⎤ 1 2 0 0⎥ ⎥ 1 0 0⎥ 0 0 0⎥ ⎥ 0 0 0⎥ ⎦ 0
例 4.14 设不可分马氏链的状态空间为C = {1,2,3,4,5,6}， 转移矩阵为 ⎡ 0
0 12 0 12 0 ⎤ ⎢1 3 0 0 1 3 0 1 3⎥ ⎥ ⎢ 0 1 0 ⎥ ⎢ 0 1 0 P=⎢ 0 0 1 0 0 0 ⎥ ⎥ ⎢ ⎢ 0 1 0 0 0 0 ⎥ ⎥ ⎢ 0 0 14 0 34 0 ⎦ ⎣
从而状态3及5也为正常返 且周期为3。 同理可知6为正常返状态。 含6的基本常返闭集为 C 2 = {k : 6 → k } = {2,6} 可见2是遍历状态
江西理工大学理学院
(1 (n 由于 f 44 ) = 1 3 ， f 44 ) = 0, n ≠ 1，
故4非常返， 周期为1，
I 可分解 I = D U C 2 U C 2
(1) 每一C n 是常返态组成的不可约闭集 (2) C n 中状态同类，或全是正常返，或全是零常返。 它们有相同的周期且 f ik = 1, j , k ∈ C n (3) D 由全体非常返态组成。自 C n 中的状态不能到达
D 中的状态。
I = D U C1 U C 2 U L
状态空间分解定理
例 4.13 设 I = {1,2,L ,6}，转移矩阵为
(d )
=
(d ) ( pij ) ，对此新链，每一 Gr 是不可约
（2） 如原马氏链{X n }常返，{X nd }也常返， 。
闭集，且Gr 中的状态是非周期的；
0 ⎡ 0 ⎢ 0 0 ⎢ 0 ⎢ 0 P=⎢ 13 13 ⎢ ⎢ 1 0 ⎢ ⎣ 0 12 1 0 0 0 0 0 0 ⎤ 0 ⎥ ⎥ 0 ⎥ 0 ⎥ ⎥ 0 ⎥ ⎥ 1 2⎦
江西理工大学理学院
0 0 1 0 13 0 0 0 0 0 0 0
试分解此链并指出各状态的常 返性以及周期性。 解
( f113 )
江西理工大学理学院
∴ C = G0 U G1 U G2 = {1,4,6} U { 3,5} U { 2}
江西理工大学理学院
定理 4 .12
设{X n , n ≥ 0}是周期为 d 的不可约马氏链，则在
定理 4.11 的结论下有 （1） 如只在时刻 0, d ,2d ,L上考虑{X n }，即得一新马氏链， 其转移阵 P
江西理工大学理学院
§4.3
定义 4.9
状态空间的分解
C 是状态空间 I 的子集，如果对任意 i ∈ C 及 k ∉ C
都有 pik = 0 ，C 称为（随机）闭集。
如果C 的状态互通的闭集，称C 为不可约的。
如果马氏链{ X n }的状态空间不可约，称{ X n }为不可约的。
引理 4.4
C 是闭集的充要条件为对任意 i ∈ C 及 k ∉ C 都有
= {4} U {1,3,5} U {2,6}
江西理工大学理学院
定理 4.11 周期为 d 的不可约马氏链，其状态空间C 可惟一 地分解为 d 个互不相交的子集之和，即
d −1 r =0
C=
U Gr , G r I G s = ∅ , r ≠ s
且使得自Gr 中任一状态出发， 经一步转移必进入Gr + 1 中 （其中Gd = G0 ）