当前位置:
文档之家› 湖南城市学院-随机过程讲稿(17)
湖南城市学院-随机过程讲稿(17)
l pii , p ljj 相互控制,同为无穷或有限,从而同为常返或非常 l 0
l 0
l 0
l 0
[定理7.11]如果j是非常返态,则对于每一个i,有
p
n 1
n
ij
和
lim pij 0
n
n
[定义7.12]如果有正整数d,d>1,只有当n=d, 2d, 3d,…时 态i是具有周期性的状态。
[定义7.9] 如果单个状态i构成一个闭集,则称这个状态i为吸 收态。 例题: 设有四个状态(0,1,2,3)的马尔可夫链,它的一步 转移概率矩阵为P,对其状态进行分类。
1 1 2 2 0 1 1 0 P 2 2 1 1 1 4 4 4 0 0 0
0 0 1 4 1
f ij P Tij n1X 0 i 0
n
[定义7.11] 对于马尔可夫链X(k),定义自状态i出发迟早到达 状态j的概率为
fij
1 n
fij
n
1 n
P T
ij
n1X 0 i P Tij
[定理7.8] fij>0的充要条件是i→j。 [推论7.3] 状态i,j相通的充要条件是fij>0 和fji>0 。当i=j时,fii 的取值在0-1之间的一个数值,根据取值情况,把状态i分为: 若fii=1, 则称 i 为常返状态, 若fii<1, 则称 i 为非常返状态(或瞬时状态或称滑过的)。
n 1
由定义知状态0为常返态。 因此,由定理知I中所有状态都是常返态。 故此马氏链为不可约常返链。
7.2.4马尔可夫链的遍历性 [定义7.13]如果齐次马尔可夫链中,对于一切的i和j,存在 不依赖i的极限,即
lim pij n p j
n
则称该链具有遍历性。式中的 pij n 是该链的n步转移概率。 [定理7.12]对于状态有限的马尔可夫链,如果存在正整数s, pij s 0 使得 成立,其中i,j=1,2…,N,则该链具有遍历性。
例题3:设有4个状态{0,1,2,3}的马尔可夫链,它的一步转 移概率矩阵为P,试画出其状态传递图,并判断该过程是 否具有周期性。
0 12 0 0 0 12 P 1 2 1 2 0 1 2 1 2 0 12 12 0 0
例题4:设有4个状态{1,2,3,4}的马尔可夫链,它的一步转 移概率矩阵为P,试画出其状态传递图,并对其状态进行 分类。 1 1 1 1 4 4 4 4 0 1 0 P 0 0 0 0 1 1 0 0 0 1/4 解 按一步转移概率, 画出各状态间的 传递图 2 1 1/4 1/4 1 1/4
类似地可证
所以
j i
即I中任意两个状态都是相通的。
i j
因此,I是一个不可约的闭集 再证I中状态0是一个常返态: 由状态的转移规则,得
p p p
p p
q
p
q1 q 0 q q
2
p
3 p 4
5
q
p
0 1 2 n 1 0
所以
f 00 f
pii 0 ,或者说当n不能被d整除时 pii 0 ,则称状
n
n
pij 与 f ij n 有如下关系
n
i, j S , n 1, 有 1, pij f ij p jj
n k
k 1 n
nk
2, f ij
n
n 1 pik f kj , k j p , ij
n 1
n 00
P{T00 n | X 0 0}
n 1
P{ X 1 1, X 2 2,, X n 1 n 1, X n 0 | X 0 0}
P{ X 1 1 | X 0 0}P{ X 2 2 | X 0 0, X 1 1}
4 11
f11 f
1 1 1 1 1 4 4 4 4
于是状态1是常返的。 又因为
5 1 n f 2 n 1
n 11
所以状态1是正常返的。 由定理可知,此链所有状态都是正常返的。
例5:
设马氏链的状态空间I={0,1,2,…},其一步转移 概率为 pii 1 p, pi 0 q 其中 0 p 1, p q 1
n 1
n 1
P{ X 1 1 | X 0 0}P{ X 2 2 | X 1 1} P{ X n 0 | X n1 n 1}
P{ X n 0 | X 0 0,, X n1 n 1}
q 1 1 p
qpn 1
n 1
该式就满足定理7.12,因而该马尔可夫链具有遍历性。
例题7:设马尔可夫链的一步转移概率矩阵为
1 0 P 1 0 1
由于:
1 0 P n P 1 0 1
n
很显然不满足定理7.12,所以该链不具有遍历性。同时也 说明了,该马氏链的状态只有0和1两个,一旦这两种状态 之一出现后就不再转移,不论经过多少步,0和1之间的转 移概率都保持为0。由此可见,该链的每一个样本只出现一 种状态,而且每个状态都是吸收态。
P{ X 1 4 | X 0 1} P{ X 2 1 | X 1 4, X 0 1}
1 p14 p41 4
1 类似地可求得 f p13 p34 p41 4
3 11
f
所以
n 11
0, (n 5)
n 1 n 11
1 f p12 p23 p34 p41 4
pii
n n 1
状态i 为非常返状态,即 fii<1的充要条件是
ii
1 1 fii
说明:如果状态i为常返态,则从i状态出发,经过有限步转 移迟早要返回i状态,即fii=1。这样,过程从i状态出发、返 回、再出发、再返回,周而复始。如果过程无限地进行下 去,则访问状态i的次数也无限地增加。 另外,对于一个有限状态的马尔可夫链,至少有一个状态 为常返的。
1
4 1
3
从图可知,此链的每一状态都可到达另一状态,即4个 状态都是相通的。 考虑状态1是否常返,
1 f 4 2 f11 P{ X 2 1, X 1 1| X 0 1}
1 11
P{X 2 1, X 1 2 | X 0 1} P{ X 2 1, X 1 3 | X 0 1} P{ X 2 1, X 1 4 | X 0 1}
n 更新过程,其初始来到时间间隔分布为 f ij , n 1 。 n f jj , n 1的更新过程。
常返态表明,过程从常返状态出发能无穷次返回该状态,
而滑过状态最多只能有限次地返回,因此,随着时间的发展, 滑过状态将逐渐消失。所以,在对Markov链作稳态设计时,
滑过状态是不予考虑的,这也说明了区分常返态与滑过状态
是十分重要的。
例题2:设有5个状态{0,1,2,3,4,5}的马尔可夫链,它的一 步转移概率矩阵为P,试对其状态进行分类。
1 2 1 2 P 0 0 1 4 0 12 0 0 0 0 12 12 0 0 12 12 0 14 0 0 1 2 12 0 0
n n n pii ml pij p ljj p m pij p m p ljj ji ji l 0 l 0 l 0 l m m l p n ml p n pii pij p n pij pii jj ji ji
所以, 返。 l 0
对于马尔可夫链X(k)任意两个状态i,j, Tij表示从i出发首 次到达j的时间,即
Tij min n : n 1, X n j , X 0 i
对于某个样本点,X(n)可能永远不会为j,那么上式就不 存在n,并且对于该样本点Tij没有真正的意义。在这一 情况下,规定ij ,用通常话讲,就是“永不出 T 现”、“终身等待”。 [定义7.10] 对于马尔可夫链X(k),定义自状态i出发经n步首 次到达状态j的概率为
n 1 n 1
3, i j f ij 0 4, i j f ij 0且f ji 0
为什么要将状态进行分类呢?
以Nj(t)记到时刻t为止转移到j的次数。若j是常返的,且 X0=j,则因为一旦转移到j,过程在概率上重新从头开始,故 {Nj(t),t≥0}是一个来到时间间隔分布为 若X0=i ,i j ,且j是常返的,则{Nj(t),t≥0}是一个延迟
[定理7.5] 相通也具有传递性,即如果i k,k j , 则 i j 。相通是一种等价关系,即
1 , i i 2 , 若i j, 有j i, 3 , 若i j, j k , 有i k
[定理7.6] 如果状态空间I中有一个子集C,对于任何状态 i C , j C ,则有 pij 0 。 [定义7.8] 设状态C为状态空间的一个子集,如果从C内 任何一个状态i不能达到C外的任何状态,则称C是闭集。 若C的状态相同,则称闭集C是不可约的。
第七章 马尔可夫过程
7.1 马尔可夫过程的一般概念
7.2 马尔可夫链
7.3 状态连续马尔可夫过程特性
7.4 独立增量过程的基本概念
7.5 泊松过程 7.6 维纳过程
1
7.2.3马尔可夫链中状态的分类 [定义7.6] 若马尔可夫链的任意状态i和j存在某个n使 n pij 0,即由状态i出发,经过n次转移以正概率到 得 达状态j,则称从状态i可达状态j,记为i→j。反之,若 状态i不能达到状态j,记为i j,此时对于一切 n n(n>=1),有 pij 0 。 [定义7.7] 对于马尔可夫链的任意两个状态i和j,如果由 状态i可到达状态j,即i→j,而且由状态j可到达状态i, 即 j →i ,则称 i 与 j 相通,记为 j 。 i [定理7.4] 对于马尔可夫链,若由状态i可到达状态k,由 状态k可到达状态j,则由状体i可达到状态j。即“状态” 是具有传递性的。