马尔可夫链
马尔可夫链（Markov chains ）是一类重要的随机过程，它的状态空间是有限的或可数无限的。

经过一段时间系统从一个状态转到另一个状态这种进程只依赖于当前出发时的状态而与以前的历史无关。

马尔可夫链有着广泛的应用，也是研究排队系统的重要工具。

1) 离散时间参数的马尔可夫链 ①基本概念
定义 5.7 设{()0,1,2,}X n n ∙∙∙=，是一个随机过程，状态空间{0,1,2,}E =，如果对于任意的一组整数
时间120k n n n ∙∙∙≤<<<，以及任意状态12,,
,k i i i E ∈，都有条件概率
11{()|()}k k k k P X n i X n i --=== （5-17）
即过程{()0,1,2,}X n n ∙∙∙=，未来所处的状态只与当前的状态有关，而与以前曾处于什么状态无关，则称
{()0,1,2,}X n n ∙∙∙=，是一个离散时间参数的马尔可夫链。

当E 为可列无限集时称其为可列无限状态的马尔可
夫链，否则称其为有限状态的马尔可夫链。

定义5.8 设{()0,1,2,}X n n ∙∙∙=，是状态空间{0,1,2,
}E =上的马尔可夫链，条件概率
(,){()|()}ij p m k P X m k j X m i i j E =+==∈，、 （5-18）
称为马尔可夫链{()0,1,2,}X n n ∙∙∙=，在m 时刻的k 步转移概率。

k 步转移概率的直观意义是：质点在时刻m 处于状态i 的条件下，再经过k 步（k 个单位时间）转移到状
态j 的条件概率。

特别地，当1k =时，
(,1){(1)|()}ij p m P X m j X m i =+== （5-19）
称为一步转移概率，简称转移概率。

如果k 步转移概率(,)ij p m k i j E ∈，、，只与k 有关，而与时间起点m 无关，则{()}X n 称为离散时间的齐次马尔可夫链。

定义5.9 设{()0,1,2,}X n n ∙∙∙=，是状态空间{0,1,2,}E ∙∙∙=上的马尔可夫链，矩阵
0001010
11101(,)(,)(,)(,)(,)(,)(,)(,)(,)
(,)
n n j j jn p m k p m k p m k p m k p m k p m k P m k p m k p m k p m k ⎡⎤
⎢⎥⎢⎥
⎢
⎥=⎢
⎥⎢⎥⎢⎥⎣
⎦
（5-20） 称为{()}X n 在m 时刻的k 步转移概率矩阵。

当1k =时，(,1)P m 称为一步转移概率矩阵。

对于齐次马尔可夫链，容易推得k 步转移概率矩阵与一步转移概率矩阵具有关系
()(),,1k
P m k P m =⎡⎤⎣⎦，1,2,k ∙∙∙= （5-21）
而且与起始时刻m 无关。

今后我们用 ()ij p k 表示齐次马尔可夫链的 k 步转移概率，()P k 为k 步转移概率矩阵。

②平稳分布与存在条件
定义5.10 给定齐次马尔可夫链{()0,1,2,}X n n ∙∙∙=，，称概率分布
(0){(0)},j P P X j j E ==∈ （5-22）
为{()0,1,2,}X n n ∙∙∙=，的初始分布，其中0(0)1j P ≤≤，且
(0)1j j E
P ∈=∑，而称概率分布
(){()},j P n P X n j j E ==∈ （5-23）
为{()0,1,2,}X n n ∙∙∙=，的瞬时分布，它表示过程在任意时刻n 的概率分布。

如果极限
()lim ,j j n p p n j E →∞
=∈ （5-24）
存在，且01j P ≤≤，
1j
j E
P ∈=∑，则称{,}j
p j E ∈为过程{()0,1,2,
}X n n ∙∙∙
=，的平稳分布。

显然，对于齐次马尔可夫链，它的瞬时概率由初始分布和转移概率矩阵完全确定，即
()(0)()j i ij i E
p n p p n ∈=⋅∑ （5-25）
在平稳分布存在的条件下，由于式（5-25）可变为
()(1)(1)j i ij i E
p n p n p ∈=-⋅∑ （5-26）
令n →∞，得平稳分布{}j p j E ∈，
满足方程 01(,,,,)[1(1)]0j p p p P ∙∙∙∙∙∙-= （5-27）
即
0001012020010111212100011212(1)0,
(1)0,(1)0.
i i i i
i ii i p p p p p p p p p p p p p p p p p p p p p p p p ∙∙∙∙∙∙
------=⎧⎪-------=⎪⎨⎪⎪------=⎩ （5-28）
再结合正规化条件
1j
j E
P ∈=∑可求得平稳分布{}j
p j E ∈，。

方程式（5-27）或式（5-28）称为过程{()0,1,2,}X n n ∙∙∙=，的平衡方程。

由平衡方程知，若平稳分布存在，它与初始状态无关，完全由一步转移概率矩阵确定。

2) 连续时间参数的马尔可夫链 ① 基本概念
定义5.11 设连续时间参数随机过程{()0}X t t ≥，，状态空间{0,1,2,}E ∙∙∙=，如果对于任意的非负整数
n ，以及任意1210n n t t t t +<<<<<及121,n n i i i i E ∙∙∙+∈，，，，有
11{()|()}n n n n P X t i X t i ++=== （5-29）
则称{()0}X t t ≥，为连续时间参数的马尔可夫链。

定义5.12 设{()0}X t t ≥，为连续时间参数的马尔可夫链，对任意i j E ∈、，非负实数0s t ≥、，条件概率
(,){()|()}ij p s t P X s t j X s i =+== （5-30）
称为其转移概率函数。

显然
0(,)1ij P s t ≤≤，
(,)1ij j E
P s t ∈=∑ （5-31）
若式（5-30）只与时间的间隔t 有关，而与时刻的起点无s 关，则称{()0}X t t ≥，为连续时间参数的齐次马尔可夫链。

一般地，我们要求齐次马尔可夫链的转移概率函数满足如下的连续性条件： ②平稳分布与存在条件
定义5.13 给定连续时间参数的齐次马尔可夫链{()0}X t t ≥，，称概率分布
(0){(0)}j p P X j j E ==∈， （5-32）
为{()0}X t t ≥，的初始分布，其中0(0)1j P ≤≤，且
(0)1j j E
P ∈=∑，而称概率分布
(){()}j p t P X t j j E ==∈， （5-33）
为{()0}X t t ≥，的瞬时概率分布，它表示过程在任意时刻t 的概率分布。

如果极限
lim ()j j t p p t j E →∞
=∈， （5-34）
存在，且01j p ≤≤，
1j
j E
p
∈=∑，则称{}j p j E ∈，为{()0}X t t ≥，的平稳分布。

与离散时间参数的齐次马尔可夫链一样，连续时间参数的齐次马尔可夫链{()0}X t t ≥，的瞬时概率由初始分布和转移概率函数完全确定，即
()(0)(0,)j i ij i E
p t p p t ∈=⋅∑ （5-35）
在平稳分布存在的条件下，由于
(,)()(,)j i
ij
i E
p s t p s p
s t ∈=
⋅∑ （5-36）
令s →∞，得平稳分布满足方程
(0,)j i ij i E
p p p t j E ∈=⋅∈∑， （5-37）
因此，若知道转移概率函数，则结合01j p ≤≤， 1j
j E
p
∈=∑可求得平稳分布{}j p j E ∈，。