t = 0,1,..., n − 1 过去 t=n 现在
t = n +1 将来
(6.1)式表示的马氏性指： 式表示的马氏性指：在已知过程现在状态的条 件下， 件下，过程将来处于那个状态的概率不依赖于过程 过去经历的状态. 也称之为无记忆性 也称之为无记忆性.
(6.1)式中的条件概率 P( X n +1 = in +1 X n = in )
⋯ 0 ⋯ 0 ⋯ 0 ⋯ ⋮ 0 0 0 ⋮ 0 0 0 ⋮ p ra
⋯ q r ⋯ 0 qa
例6.1.3 (天气变化) 如果明天是否有雨仅与今天的天 气关， 气有关，而与过去的天气无关. 并设今天下雨、 并设今天下雨、明天 有雨的概率为a，今天无雨而明天有雨的概率为b， 又假设有雨称为0状态天气， 状态天气，无雨称为1状态天气. Xn表示时刻n时的天气状态， 时的天气状态，则
α β γ δ
如果Xn仍表示时刻n的天气状态，则 {X n , n ≥ 0} 是以下状态空间上的齐次马尔可夫链.
S = {(1,1),(1,0),(0,1),(0,0)} 一步转移概率矩阵为
α 1 − α 0 0 P= γ 1− γ 0 0
0 β 1− β 0 0 δ 1− δ 0
例(补) (有限制随机游动) 设质点在直线上的{0，1 ，2，···，a}各点上作随机游动，移动规则如下：
（）移动前 1 i ∈ {1, 2,⋯ , a − 1}处
p, q, r ≥ 0, p + q + r = 1;
q p
i-1
p0
i
i+1
r
0 1
（ 2）移动前i = 0处
p0 , r0 ≥ 0, p0 + r0 = 1
P( X n +1 = in +1 X 0 = i0 , X 1 = i1 ,⋯ , X n = in ) = P( X n +1 = in +1 X n = in ) (6.1)
则称随机过程X为离散时间马尔可夫链，简称马氏链.
(6.1)式所表达的性质，称为马氏性.
马氏性的直观解释 看作现在， 如果将时刻n看作现在 ，则时刻0，1，…，n-1就 表示过去， 表示过去，而时刻n+1就表示将来， 就表示将来，
王梓坤院士(1929 年—)江西吉安 人,1952年大学毕业 后，被分派到天津南 开大学数学系任教. 是一位对我国科学和 教育事业作出卓越贡 献的数学家和教育家， 献的数学家和教育家， 也是我国概率论研究 的先驱和学术带头人 之一。 之一。
•1954年，他又以优异的成绩考取了赴苏研究生。 他又以优异的成绩考取了赴苏研究生。踏进世界著名 学府－ 学府－莫斯科大学， 莫斯科大学，在这个学府世界概率论的奠基人柯尔莫哥洛 夫院士正领导看一个强有力的概率研究集团。 夫院士正领导看一个强有力的概率研究集团。柯尔莫高洛夫慧眼 识英才， 识英才，非常信赖这位由中国选派的年轻人的能力， 非常信赖这位由中国选派的年轻人的能力，把他选作自 己的研究生， 己的研究生，去攻概率论的中心问题随机过程理论。 去攻概率论的中心问题随机过程理论。 • 当时中国近代数学才刚刚起步 当时中国近代数学才刚刚起步， 中国近代数学才刚刚起步，大学也没有概率课程。 大学也没有概率课程。此时 苏联的概率论水平已届于世界最前列。 苏联的概率论水平已届于世界最前列。王梓坤也根本不知道什么 是概率， 是概率，可他的研究方向又恰恰被定为概率论， 可他的研究方向又恰恰被定为概率论，著有《概率论基 础及其应用》 础及其应用》、《随机过程论》 随机过程论》、《生灭过程与马尔科夫链》 生灭过程与马尔科夫链》等 9部数学著作． 部数学著作．
r0
a-1
（3）移动前i = a处
qa , ra ≥ 0, qa + ra = 1
qa
a
ra
若X n 表示质点在n时的位置，则X={ X n , n ≥ 0}是以 S = {0,1,⋯ , a}为状态空间的齐次马氏链.
其一步转移概率矩阵为 r0 p0 0 0 q r p 0 0 q r p P= ⋮ ⋮ ⋮ ⋮ 0 0 0 0 0 0 0 0
条件概率，即 (k ) pij (n) = P( X n + k = j X n = i ), i, j ∈ S , n ≥ 0, k ≥ 1
它表示马氏链X 在n时从状态i出发经过k步转移，于n+k 时到达状态j的概率，称为马氏链在n时刻的k步转移 概率.
(1) p k=1时， ij (n)为n时的一步转移概率, 记为 pij (n)
i, j ∈ S , n ≥ 0, k ≥ 0
齐次马尔可夫链
如果马氏链X的一步转移概率pij (n)衡与起始时刻n无关，即有 pij (n) = pij (n + 1) = pij (n + 2) = ⋯ i, j ∈ S
则称马氏链具有时齐性，也称X为齐次马氏链.
为方便，一般常将齐次马氏链的起始时刻取为零．即
一步转移概率的直观表示— 一步转移概率的直观表示—状态转移图
其一步转移概率矩阵为
⋮ ⋯ ⋯ P = ⋯ ⋯ ⋯ ⋮ ⋮ 0 q 0 0 0 ⋮ ⋮ p 0 q 0 0 ⋮ ⋮ 0 p 0 q 0 ⋮ ⋮ 0 0 p 0 q ⋮ ⋮ 0 0 0 p 0 ⋮ ⋮ ⋯ ⋯ ⋯ ⋯ ⋯ ⋮
例6.1.5诶伦菲斯特模型（ 诶伦菲斯特模型（Ehrenfest）设一个坛子中 装有m个球， 个球，它们或是红色的， 它们或是红色的，或是黑色的， 或是黑色的，从坛子 中随机的摸出一球， 中随机的摸出一球，并换入一个相反颜色的球. 设经过n次摸换,坛中黑球数为Xn,则
X = { X n , n ≥ 0}是以S = {0,1,⋯ , m}状态空间的齐次马氏链.
其一步转移概率矩阵为
0 1 m 0 P= ⋮ 0 0
1 0 2 m ⋮ 0 0
0 m −1 m 0 ⋮ 0 0
0 0
⋯ ⋯
0 0 0
0 0 0
m−2 ⋯ m ⋮ 0 0
⋮ ⋮ m −1 ⋯ 0 m ⋯ 0 1
0 0 0 ⋮ 1 m 0
例6.1.6 (卜里耶模型Polya) 设一个坛子中装有b个 黑球和r个球， 个球，每次随机的从坛子中摸出一球再放回 去，并加入c个同颜色的球. 设Xn表示第n次摸放后坛中的黑球数,则
X = { X n , n ≥ 0}状态空间为S = {b, b + c, b + 2c,⋯}的马氏链.
其一步转移概率为
pij (n) = P ( X n +1 = j X n = i ) i b + r + nc , j = i + c i = 1 − , j =i b + r + nc 其它 0,
pij = P( X1 = j X 0 = i) i, j ∈ S
相应的一步转移概率矩阵分别记为 P=(p ij )
马尔可夫链举例 例6.1.1 (随机游动) 设一质点在直线上的整数格点 上作随机游动，移动规则如下：
如果某时刻质点位于整数格点i处，
q p
i-1
i
i+1
p, q ≥ 0, p + q = 1;
若以X n表示质点在n时刻的位置，则X={X n , n ≥ 0} 为齐次马尔可夫链.状态空间为S = {0, ±1, ±2， ⋯}.
一步转移概率为 p, pij = q, 0, i= ± 1， ± 2， ⋯，j = i + 1 i= ± 1， ± 2， ⋯，j = i − 1 i − j >1
经过世界各国几代数学家的相继努力, 至今已成为内 容十分丰富, 理论上相当完整, 应用也十分广泛的一门 数学分支. 它的应用领域涉及计算机、 它的应用领域涉及计算机、通讯、 通讯、自动控制、 自动控制、随机服 务、可靠性、 可靠性、生物、 生物、经济、 经济、管理、 管理、气象、 气象、物理、 物理、化学 等. 马尔可夫1922年逝世于圣彼得堡。 年逝世于圣彼得堡。马尔可夫的儿子 A·A·小马尔可夫也是一位著名数学家。 小马尔可夫也是一位著名数学家。
6.1 马尔可夫链的定义
主讲人： 主讲人：李伟 西安电子科技大学数学与统计学院 2013年秋季
马尔可夫简介
• 安德雷·安德耶维齐·马尔可夫(1856年6月14日－1922年7月20 日），俄国数学家 ），俄国数学家。 俄国数学家。 • 马尔可夫出生于梁赞， 马尔可夫出生于梁赞，他的父亲是一位中级官员， 他的父亲是一位中级官员，后来举家 迁往圣彼得堡。 迁往圣彼得堡。1874年马尔可夫入圣彼得堡大学 年马尔可夫入圣彼得堡大学， 入圣彼得堡大学，师从切比 师从切比 雪夫， 雪夫，毕业后留校任教。 毕业后留校任教。1886年当选为圣彼得堡科学院院士。 年当选为圣彼得堡科学院院士。 • 马尔可夫的主要研究领域在概率和统计方面。 马尔可夫的主要研究领域在概率和统计方面。二十世纪初， 二十世纪初， 他的兴趣转移到相依随机变量序列的研究上来， 他的兴趣转移到相依随机变量序列的研究上来，从而创立了 以他命名的著名概率模型——马尔可夫链． 马尔可夫链．他的研究开创了 随机过程这个新的领域， 随机过程这个新的领域，以他的名字命名的马尔可夫链在现 以他的名字命名的马尔可夫链在现 代工程、 工程、自然科学和社会科学各个 自然科学和社会科学各个领域都有很广泛的应用 和社会科学各个领域都有很广泛的应用。 领域都有很广泛的应用。
p
(0) ij
1, i = j = δ ij = i, j ∈ S , n ≥ 0 0, i ≠ j
此时 P (n) = I为单位矩阵.
(0)
不难验证， 不难验证，转移概率矩阵是随机矩阵， 转移概率矩阵是随机矩阵，即
(k ) pij (n) ≥ 0, (k ) p ∑ ij (n) = 1, j∈S