p p
iI
i ii1 pin1in
14
例：某计算机机房的一台计算机经常出故障，研究者每隔15分钟观察一次计 算机的运行状态，收集了24个小时的数(共作97次观察)，用1表示正常状态， 用0表示不正常状态，所得的数据序列如下： 11100100111111100111101111110011111111100011 01101111011011010111101110111101111110011011 111100111
1
2
3
4
5
6
例：排队模型 设服务系统由一个服务员和只可以容纳两个人的等候室组 成。服务规则为：先到先服务，后来者需在等候室依次排队， 假设一个需要服务的顾客到达系统时发现系统内已有3个顾客， 则该顾客立即离去。 设时间间隔⊿t内有一个顾客进入系统的概率为q，有一接 受服务的顾客离开系统(即服务完毕)的概率为p,又设当⊿t充分 小时，在这时间间隔内多于一个顾客进入或离开系统实际上是 不可能的，再设有无顾客来到与服务是否完毕是相互独立的。
2
马尔可夫链定义
时间和状态都离散的马尔可夫过程称为马尔可夫链
定义：设有随机过程{Xn,n∈T}，若对于任意的整数n∈T和任意的 i0,i1, …,in+1∈I，条件概率满足
P{ X n 1 in 1 | X 0 i0 , X 1 i1 ,, X n in } P{ X n 1 in 1 | X n in }
i

n 1

nfii( n )
表示由i出发再返回i的平均返回时间。
24
定义 如ui<∞，则称常返态i为正常返的；如ui= ∞，则称常返态i为零常返的。
非周期的正常返态称为遍历状态。 常返性的判别
定理：状态i常返的充要条件为
p
n 0

(n) ii
( . 如i非常返，则 piin ) n 0
bi , j i 1 pij ri , j i a , j i 1 i
8
例：仓储系统 维修点有一仓库，存储某配件以备维修时使用，该配件每周 的消耗量为独立同分布的随机变量，其概率分布为：
P( Dn i ) i , i, n 0,1,; i 1
4
设P表示一步转移概率所组成的矩阵，则
p11 p12 p1n P p21 p22 p2n
称为系统状态的一步转移概率矩阵，它具有如下性质：
1、pij 0, i, j I
2、
p
jI
ij
1, i, j I
满足上述两个性质的矩阵称为随机矩阵。
马尔可夫链的状态分类
周期、非周期 常返、非常返 正常返、零常返 遍历状态

20
设马尔可夫链的状态空间I={1,2,3,4,5,6,7,8,9}，状态间的概率转移图如下 图
8
9
2
7
1
3
6
5
4
21
假设{Xn,n≥0}是齐次马尔可夫链，其状态空间I={0,1,2,3, …}，转移概率 是pij，i,j∈I，初始分布为{pj,j ∈I}。 定义 如集合{n: n≥1,pii(n)>0}非空，则称该集合的最大公约数 d=d(i)=G.C.D{n:pii(n)>0}为状态i的周期。 如d>1就称i为周期的，如d=1就称i为非周期的。 如果i有周期D，则对一切非零的n≠0(mod(D))都有pii(n)=0。 但这也并不是说对任意n有pii(nd)>0。例如上图中状态1的d=2，但 pii(2)=0。 引理 如i的周期为d，则存在正整数M，对一切n≥M，有pii(nd)>0。
设Xn为第n(n=1,2,…,97)个时段的计算机状态，可以认为它是一个齐次马 氏链. 求 (1)一步转移概率矩阵; (2)已知计算机在某一时段(15分钟)的状态为0，问在此条件下，从此 时段起，该计算机能连续正常工作45分钟(3个时段)的条件概率.
15
例题：天气预报问题1 设今日有雨，明日有雨的概率为0.7；今日无雨，明日有雨的概率为 0.4。若星期一下雨，求星期四下雨的概率。

1 1 f ii
含义：当i常返时，返回i的次数为无限多次；当i非常返时，有周期d，则
( lim piind ) n
d
i i
d 其中i为i的平均返回时间。当i ， 0.
推论：设i常返，则
n （）i零常返 lim pii 0; 1 n n （2）i遍历 lim pii n
1
i
0.
26
定义：称自状态i可达状态j，并记为i j，如果存在n 0
( 使pijn ) 0；称状态i与j互通，并记为i j，如i j且j i．
定理：可达和互通关系都具有传递性，即 如果i j，j k，则i k． 如果i j，j k，则i k．
定理：如i j，则 (1)i与j同为常返或非常返，如为常返，则同为 正常返或零常返． (2)i与j有相同的周期．
22
状态的常返性 例：状态转移概率图
1 1/2
1
1
2
3
4
1/2
1
23
首中概率 它表示质点由i出发，经n步首次到达j 的概率
f ij( n ) P( X m v j,1 v n 1, X m n j | X m i)
定理 对任一状态i, j及1 n , 有 p
10
P{X m2 0 | X m 0} 和两步转移概率矩阵P(2)
定理 设{Xn,n∈T}为马尔可夫链，则对任意整数n≥0，0≤l<n和 (n ) i,j∈I，n步转移概率 pij 具有下列性质：
1 p 、
(n) ij
p
kI
(l ) ik
p
( n l ) kj
ChapmanKolmogorov方程
16
例题：天气预报问题2 设昨日、今日都下雨，明日有雨的概率为0.7；昨日无雨、今日有雨， 明日有雨的概率为0.5；昨日有雨、今日无雨，明日有雨的概率为0.4； 昨日、今日均无雨，明日有雨的概率为0.2。若星期一、星期二均下 雨，求星期四下雨的概率。
17
例：A种啤酒的广告改变方式后经市场调查发现：买A种 啤酒及另三种啤酒B,C,D（设市场上只有这四种啤酒）的 顾客每两个月的平均转移概率如下： A A(95%) B (2%) C (2%) D (1%) B A(30%) B (60%) C (6%) D(4%) C A(20%) B (10%) C (70%) D(0%) D A(20%) B (20%) C (10%) D (50%) 设目前购买A,B,C,D的顾客分布为(25%,30%,35%,10%), 求半年后A种啤酒的市场占有率．
P X (tn ) xn | X t1 x1 X tn 1 xn 1 P X (tn ) xn | X t n 1 xn 1
则称过程 X (t ), t T 具有马尔可夫性或无后效性， 并称此过程为马尔可夫过程。
将来的状态只与当前状态有关，与过去状态无关 ，即无后效性
例题：无限制随机游动 设质点在数轴上移动，每次移动一格，向右移动的概率为p，向左移动 的概率为q=1-p，这种运动称为无限制随机游动。以Xn表示时刻n质点 所处的位置，则{Xn,n∈T}是一个齐次马尔可夫链，求一步和k步转移概 率。
例题：有吸收壁随机游动 甲、乙进行赌博，甲有a元，乙有b元，每赌一局输家给赢家1元，没有 和局，直到一人输光为止。设每一局甲赢的概率为p，输的概率为q=1-p， 求甲输光的概率。
为马尔可夫链{Xn,n∈T}的n步转移概率，并称
( P ( n ) ( pijn ) )
为马尔可夫链的n步转移矩阵。规定
p
(0) ij
0, i j 1, i j
例题 设马尔可夫链{Xn,n∈T}有状态空间I={0,1}，其一步转移概率矩阵为
p00 P p 10
求
p01 p11
i 0
Dn为第n周的配件消耗量
每周要对该配件进行补充，用Xn表示该仓库在第n周开始未 补充配件时的配件个数，补充的原则是如果库存不少于s件， 则不补充；如果少于s件，则补充到S件。则随机过程{Xn， n=0,1,…}是一个马尔科夫链。
定义
(n) 称条件概率 pij P{ X m n j | X m i}, i, j I , m 0, n 1
例：设马氏链 X n 的状态空间为I {0,1, 2 }，转移概率为 1 1 1 p00 , pi ,i 1 , pi 0 , i I , 分析其遍历性. 2 2 2
服务台
随机到达者
等候室
离去者
系统
7
例：生灭链 观察某生物群落，以Xn表示在时刻n群体的数目，设为i个数 量单位，如在时刻n+1增加到i+1个数量单位的概率为bi，减 灭到i-1个数量单位的概率为ai，保持不变的概率为 ri=1- ai - bi ，则 {Xn，n>=0}为齐次马尔科夫链，其转移概率为
定义： 称 p j P{ X 0 j}, ( j I ) 为马尔可夫链的初始分布； 称 { p j , j I } 为马尔可夫链的初始分布； 称 P T (0) ( p1 , p2 ,)为马尔可夫链的初始概率向量。
12
定理 设{Xn,n∈T}为马尔可夫链，则对任意j∈I和n≥1，绝对概率pj(n)具有下 列性质： 1. 2. 3. 4.
则称{Xn,n∈T}为马尔可夫链，简称马氏链
3
定义 称条件概率 pij (n) P{ X n 1 j | X n i} 为马尔可夫链{Xn,n∈T}在时刻n的一步转移概率，其中i,j∈I，简称转移概率。