v 0 m0

得
1 要证 Pi i ( s) 令s 1 得 1 Fi i ( s)
解放军电子技术学院
p
n 0

(n) ii
1 1 fii
卢
常返状态的解释
令

1, X ( n) j; Y ( n) 0, X ( n) j .

(n) n ii
Fi i ( s) fi (in ) s n
n 0
(0) 1 fii(0) 0 , n 1 规定 pii

由 p
(n) ii
f
v 0

n
(v) ii
p
( n v ) ii
n (n) n ( v ) ( n v ) n Pii (s) 1 pii s 1 fi i pi i s n 1 n 1 v 1
存在N，使得 tN t N 1
d,
, nN } 存在M，对于一切的n M , 有
nd k nk ,
k 1
N
k为正整数
p
( nd ) ii
[ p
k 1
N
( nk ) k ii
] 0
解放军电子技术学院
卢
首达概率
定义1 对i , j E 及 n 2，记
归纳法。 设n mt r,0 r t
(n ) ( n k ) 当m 0时，对于k n t, fii( k ) 0, pii 0 pii n
( mt r ) 当m N 1时，pii 0, 则
k 1
( Nt r ) pii
Nt r

k 1
是系统从状态“i” 出发经过有限步转移后最终到 达状态“j” 的概率.
解放军电子技术学院
卢
n 1


( n) f ij
系统从状态“i” 出发 经过n步转移后首次到 达状态“j” 的概率
一、状态类型分类
定义4.7 对状态i∈E, 最终返回概率为fii， 若 fii=1，称状态i 是常返的； 若 fii<1，称状态 i 是非常返的(或滑过的；瞬时状态 ).
v ) n v (v) v ( n v ) n v 1 fi (iv ) s v pi( n s 1 f s p i i i i s i n 1 v 1 v 1 n v

n


1 fi (iv ) s v p (jmj) s m 1 Fi i (s) Pi i ( s)
( n) f ij ˆ PX ( n) j , X ( k ) j , k 1,2,, n 1 X (0) i,
(1 ) f ij
ˆ PX (1) j X (0) i
称为首达概率.
称
f ij
f ij P{ 存在n 1, 使X ( n) j X (0) i },
m 1 n
马氏性


P X ( n) j X ( m) j
( m) ij
f
m 1
n
(m) P X (n) j X (m) j f ij p jj ( n m ). m 1
解放军电子技术学院
n
引理
卢
( n) ( n) 引理4.2：GCD{n : n 1, P 0} GCD { n : n 1, f 0} ii ii
( n) f =1 表示系统从状态 i 出发必定要返回状态 i. 注 定义4.8 设j是常返的, 称 j n1 nf jj ii
称 为状态 j 的平均返回时间； j 定义4.9 对常返状态i∈E, 平均返回时间为μi， 若μi<+∞,称状态i 是正常返的； 若μi=+∞，称状态i 为零常返的. 称非周期正常返的状态为遍历状态.
解放军电子技术学院
卢
引理：如i 的周期为d，则存在一个整数M , 对于 一切的n M 有p
tk GCD{n1, d GCD{n1 ,
( nd ) ii
0
( n) 证明： 设{n : n 1, pii 0} {n1, , nk }
, nk }
则
t1 t2
d 1,
( Nt r k ) (( N l ) t r ) f ii( k ) pii fij(lt ) pii 0
N
解放军电子技术学院
l 1
卢
二、常返态和非常返态的判别
定理4.5 状态i∈E是常返状态, 当且仅当 从定义出发判别状态类型十分困难 ,常返态判别准则 可通过不同类 (n) Pii ; 型状态所具有性质来区别它们.
( n) 证：令 d GCD{n : n pii 0}，t GCD{n : n fii( n) 0}
( n) 由pii fii( n)，知d t
下面证明d t
( n) ii
只须证明t是 {n : n p 0}的公约数
( n) 即证若t|n,则pii 0。
8 7 6
9 1 5ຫໍສະໝຸດ 2 3 4解放军电子技术学院
卢
§4.2 齐次马氏链状态的分类
定义 对i∈E, 若正整数集
n n 1, Pii (n) 0
非空, 则定义其最大公约数(GCD)为状态i 的周期 记为
d ( i ) GCDn n 1, Pii n 0
若d(i)=1,称状态i 是非周期的.
解放军电子技术学院
卢
定理 对i , j E 及 n 1， 任意步转移概率与 首达概率有关系式
( n) Pij
f ij ( m ) P jj ( n m )
m 1
n
证 P ( n) PX ( n) j X (0) i ij
P X (m) j , X (k ) j , 1 k m 1, X 0 i

n 1
状态i∈E是非常返状态
p
n 0

(n) ii
1 1 fii
(n) jj
P 推论1 状态j 是非常返的，当且仅当 n 1
推论2
;
lim Pjj n 0. 若状态j 是非常返的，则 n
解放军电子技术学院
卢
令 Pi i ( s) p s
n 0