N
p1k pk1 k 1
N
= p2k pk1
k 1 N
pNk pk1
k 1
N
p1k pk 2
k 1 N
p2k pk2
k 1
N
pNk pk 2
N
k 1
N
k 1
N
p1k
p2k
p Nk
pkN pkN pkN
==
p11 p21
pN1
k 1
k 1
p12 p22
（8.1.7）
第八章 马尔可夫预测与决策法
3. 状态转移矩阵
类似地，可以推出
P(k) Pk
（8.1.8）
即 k 步状态转移概率矩阵等于一步状态转移概率矩阵的 k 次方。
第八章 马尔可夫预测与决策法
例 8.1.2
例 8.1.2 某经济系统有三种状态 E1, E2 , E3 （比如畅销，一般，滞销）。系统状
P( X t1 E1, X t2 E2 ,, X m Em ) 0
时，有
（8.1.1）
P X mk E j X t1 E1, X t2 E2 ,, X m Em P X mk E j X m Em （8.1.2）
则称 X n , n 0为马尔柯夫链。
X n 所可能取到的每一个值 E1, E2 ,, Em ; E j 称为状态。
0
0.1
p12
50 500
0.1
p 22
300 400
0.75
p 32
10 10
0
0.1
p13
50 50
0
0.1
p 23
80 40
0
0.2
p 33
80 100
0.8
第八章 马尔可夫预测与决策法
第8.1 马尔柯夫链简介
3. 状态转移矩阵
定义8.1.5 与定义8.1.4 类似，称
p(k) 11
态 Ek (k 1,2,N ) , 然后再从状态 Ek 转移到状态 E j 的概率。
第八章 马尔可夫预测与决策法
故有：
p (2) 11
P (2)
p (2) 21
p (2) N1
3. 状态转移矩阵
p (2) 12
p (2) 1N
p (2) 22
p (2) 2N
p (2) N2
p (2) NN
第八章 马尔可夫预测与决策法
第八章 马尔可夫预测与决策法
第8.1 马尔柯夫链简介
定义 8.1.1 设随机时间序列 X n , n 0满足如下条件：
1 每个随机变量 X n 只取非负整数值； 2 对任意的非负整数 t1 t2 m m k, 及 E1, E2 ,, Em ; E j ，当
为一步转移概率矩阵。
一步转移概率矩阵具有如下性质：
0 pij 1
N pij 1 j1
i, j 1,2,,N
i 1,2,,N
（8.1.4）
第八章 马尔可夫预测与决策法
第8.1 马尔柯夫链简介
特别地，当 k =1 时， P X m1 E j X m Ei 称为一步转移概率，记为 pij (m) P X m1 E j X m Ei
定义 8.1.3 若对任意非负整数 n ，马尔柯夫链 X n , n 0的一步转移概率 pij (m) 与 m 无关，则称 X n , n 0为齐次马尔柯夫链。齐次马尔柯夫链的一步转移概率记为 pij 。
第八章 马尔可夫预测与决策法
例 8.1.1
例8.1.1 某地区有甲、乙、丙三家食品厂生产同一食品，有1000
态转移情况见表 8.1.2。试求系统的 2 步转移概率矩阵。
次
状
状
数态 态
E1
系统本
步所处 状态
E2
E3
表 8.1.2 系统状态转移情况表
解：由题意得 6 月份顾客转移表 8.1.1：
表 8.1.1 顾客转移表
到 从
甲
乙
丙
甲
400
50
50
乙
20
300
80
丙
10
10
80
合计
430
360
210
合计
500 400 100 1000
第八章 马尔可夫预测与决策法
例 8.1.1
p11
400 500
0.8
p 21
20 400
0.05
p 31
10 10
个用户（或购货点），假设在研究期间无新用户加入也无老用户退出， 只有用户的转移，已知2019年5月份有500户是甲厂的顾客；400户是 乙厂的顾客；100户是丙厂的顾客。6月份，甲厂有400户原来的顾客， 上月的顾客有50户转乙厂，50户转丙厂；乙厂有300户原来的顾客， 上月的顾客有20户转甲厂，80户转丙厂；丙厂有80户原来的顾客，上 月的顾客有10户转甲厂，10户转乙厂。试计算其状态转移概率。
p1N p11 p2N p21
pN 2 pNN pN1
p12 p22
p1N p2N
pN 2 pNN
p11 = p21 pN1
p12 p22
pN2
2
p1N p2N
＝
P2
pNN
P(2) P2
即 2 步状态转移概率矩阵等于一步状态转移概率矩阵的平方。
（8.1.5）
第八章 马尔可夫预测与决策法
第8.1 马尔柯夫链简介
3. 状态转移矩阵
从状态转移概率矩阵的性质可知，2 步状态转移概率矩阵可由一步状态转移概率矩阵 求出。
N
p (2) ij
pik pkj
k 1
(k 1,2,N)
（8.1.6）
即系统从状态 Ei 出发，经过２步转移到状态 E j 的概率等于系统从 Ei 出发经一步转移到状
P(k)
p(k) 21
p(k) N1
p(k) 12
p(k) 1Np(Fra bibliotek) 22p(k) 2N
p(k) N2
p(k) NN
为k 步转移概率矩阵。
k 步转移概率矩阵也具有与一步转移概率矩阵类似的性质：
0
p(k) ij
1
N
p(k) ij
1
j1
i, j 1,2,, N
i 1,2,, N
第八章 马尔可夫预测与决策法
第8.1 马尔柯夫链简介
2. 状态转移概率
由定义 8.1.1 可知，马尔柯夫链的概率特性取决于条件概率
P X mk E j X m Ei
（8.1.2）
在概率论中，条件概率 P( A | B) 表达了由状态Ｂ向状态Ａ转移的概率，简称为状态转移概
率。式（8.1.2）中条件概率的含义是，某系统在时刻m 处于状态 Ei 的条件下，到时刻m k
处于状态 E j 的概率。
定义 8.1.2 称
p(k) ij
(m)
P
X mk E j
X m Ei
为 k 步转移概率。
（8.1.3）
第八章 马尔可夫预测与决策法
第8.1 马尔柯夫链简介
3. 状态转移概率矩阵
定义8.1.4 称
p11
Ｐ＝
p21
p12 p22
p1N p2N
pN1 pN2 pNN