2 p22 22% 9 分子 2 是表中连续出现滞销的次数。 综上所述，得销售状态转移概率矩阵为：
p11 P p21 p12 0.5 0.5 p22 0.78 0.22
4、多步状态转移概率矩阵
状态转移概率矩阵完全描述了所研究对象的变化过程。 正如前面所指出的，上述矩阵为一步转移概率矩阵。对于 多步转移概率矩阵，可按如下定义解释。
第五章马尔可夫预测与决策
• 基本概念
– 马尔可夫链 – 状态转移矩阵（转移概率矩阵） – 平稳分布和稳态分布
• 马尔可夫预测与决策应用实例
– 流行病监测 – 设备维修决策 – **基因遗传
马尔可夫预测
• 马尔可夫（A.A Markov）预测法是应用概率论中马 尔可夫链的理论和方法来研究随机事件变化并借此 分析预测未来变化趋势的一种方法。
1. 马氏链严格数学定义
设随机过程 X n (n T ) 的时间集合 T {1,2,3,} ，状态 空间 E {1,2,3 N } ，
状态离散的随机过程。 若对任意 X n (n T ) 是时间离散、 的整数 n T ，满足 即
P{X n1 xn1 X n xn ,, X 0 x0 } P{X n1 xn1 X n xn }
－－－－－－－－－－－－－
概率论中的条件概率：P（AB）就表达了由状态 B 向状态 A 转 移的概率，简称为状态转移概率。 对于由状态 Ei 转移到状态Ej 的概率，称它为从 i 到 j 的转移概率。 记为：
Pij P( E j Ei ) P( Ei E j ) P( xn1 j xn i )
也就确定了：
对 k1 ，记 pi (k ) P{ X k i}
有：
则由全概率公式
pi (k ) p j (0) p (jik ) ,
j 1
N
i 1, 2,
, N; k 1
若记向量 P(k ) ( p1 (k ), p2 (k ), 则上式可写为：
, pN (k )) ，
用状态变量来表示状态： i 1,2, , N Xt i t 1,2, 它表示随机运动系统，在时刻 t (t 1,2,) 所处的状态为 i (i 1,2, N ) • 状态转移：客观事物由一种状态到另一种状态的 变化。
如：由于产品质量或替代产品的变化，市场上
则称
X n (n T ) 为马尔可夫链，简称马氏链。上式称为过程
的马尔可夫性或无后效性。
马氏链模型说明：
时间、状态均为离散的随机转移过程
系统在每个时期所处的状态是随机的
从一时期到下时期的状态按一定概率转移
下时期状态只取决于本时期状态和转移概率 已知现在，将来与过去无关（无后效性） 概念:状态??
1，矩阵2)
（2）按下F2，同时按下Ctrl+Shift+Enter
演示结果
5、初始状态概率向量
P 记t 0 为过程的开始时刻， i (0) {( X0 X (t0) i)} 则称： P(0) ( p1 (0), p2 (0), , pN (0)) 为初始状态概
率向量。
(k ) (k ) P ( p 已知马尔科夫链的转移矩阵 ij ) 以及初 始状态概率向量 P(0) ，则任一时刻的状态概率分布
96 P =0.2 13 = 480 64 P23 = =0.2 320 704 P33 = =0.88 800
P11 P12 P13 0.7 0.1 0.2 三、状态转移概率矩阵 P P21 P22 P23 0.1 0.7 0.2 将事件 n 个状态的转移概率依次排列起来，就构 0.08 0.04 0.88 成一个 N 行× N 列的矩阵，这种矩阵就是状态转移概 P P P 31 32 33
销售 状态
季度 销售 状态
畅 畅 滞 畅 滞 滞 畅 畅 畅 滞 畅 滞 1 1 2 1 2 2 1 1 1 2 1 2 13 14 15 16 17 18 19 20 21 22 23 24 畅 畅 滞 滞 畅 畅 滞 畅 滞 畅 畅 畅 1 1 2 2 1 1 2 1 2 1 1 1
以 p22 表示连续滞销的可能性：
销售 状态 季度
1
2
3
4
5
6
7
8
9
10 11 12
畅 畅 滞 畅 滞 滞 畅 畅 畅 滞 畅 滞 1 1 2 1 2 2 1 1 1 2 1 2 13 14 15 16 17 18 19 20 21 22 23 24
销售 状态
畅 畅 滞 滞 畅 畅 滞 畅 滞 畅 畅 畅 1 1 2 2 1 1 2 1 2 1 1 1
计算其状态转移概率。
例：
从
解：由题意得 6 月份顾客转移表 ：
到
甲 乙 丙 合计
甲 336 32 64
乙 48 224 32
丙 96 64 704
合计 480 320 800
430
360
210
1600
336 48 P =0.7 P =0.1 11 = 12 = 480 480 32 224 P21 = =0.1 P22 = =0.7 320 320 64 32 P31 = =0.08 P32 = =0.04 800 800
以 p12 表示由畅销转入滞销的可能性： 7 p12 50% 15 1 分子 7 是表中由畅销转入滞销的次数。 以 p21 表示由滞销转入畅销的可能性：
7 p21 78% 9 分子 7 是表中由滞销转入畅销的次数，分母数 9 是表中出 现滞销的次数。
季度
1
2
3
4
5
678Fra bibliotek910 11 12
N
P
j 1
N
ij
1 i 1, 2
,N
状态转移概率的估算
主观概率法（一般缺乏历史统计资料或资料不全情况下使用） 统计估算法。
例 设药品市场的销售记录共有 6 年 24 个季度的数据，见表。 求药品销售转移概率矩阵。
季度 销售 状态 季度 销售 状态
1
2
3
4
5
6
7
8
9
10 11 12
2、状态与状态变量 • 状态：客观事物可能出现或存在的状况。
如：商品可能畅销也可能滞销；机器运转可能正常也 可能故障等。
• 同一事物不同状态之间必须相互独立:不能同时存在 两种状态。 • 客观事物的状态不是固定不变的，它可能处于这种状 态，也可能处于那种状态，往往条件变化，状态也会 发生变化。如某种产品在市场上本来是滞销的，但是 由于销售渠道变化了，或者消费心理发生了变化等， 它便可能变为畅销产品。
P xn j x0 i Pij
并令
定义 . 若系统在时刻 t 0处于状态 i ，经过 n步转 移，在时刻 t n 处于状态 j 。那么，对这种转移的 可能性的数量描述称为 n 步转移概率。记为:
n
P11 n n n P21 P P n N1
随机过程是研究随机动态系统演变过程规律性的学 科，它的研究对象是随时间演变的随机现象；广泛 地应用于通信、控制、生物、地质、经济、管理、 能源、气象等许多领域; 马氏链模型(Markov Chain Model)是时间、状态均为 离散的随机过程。
一、基本概念
• 马尔可夫（A.A Markov 俄国数学家）。 • 20世纪初，他在研究中发现自然界中有一类事物的变化过程 仅与事物的近期状况有关，而与事物的过去状态无关。 例：未来第 t 个交易日上证指数的涨跌情况，醉汉在酒醒之 前的运动，青蛙在荷塘中下一步跳向哪片荷叶…… • 所谓马尔可夫链，就是一种随机时间序列，它在将来取什么 值只与它现在的取值有关，而与它过去取什么值无关，即无 后效性。具备这个性质的离散型随机过程，称为马尔可夫链。
它表示由状态Ei 经过一步转移到状态Ej 的概率。
例：
某地区有甲、乙、丙三家药厂生产板蓝根，有1600 个用户，假定在研究期间无新用户加入也无老用户退 出，只有用户的转移。已知 8月份有 480 户是甲厂 的顾客；320 户是乙厂的顾客；800 户是丙厂的顾客。 9 月份，甲厂的顾客有 48 户转乙厂，96户转丙厂； 乙厂的顾客有32户转甲厂，64户转丙厂；丙厂有的顾 客有 64户转甲厂，32户转乙厂。
多步转移概率矩阵，除具有一步转移概率矩阵的性质 外，还具有以下的性质：
(1) P ( n) P ( n1) P (2) P ( n) P n
例：试求前一药品市场的二步状态转移概率矩阵。 二步转移概率矩阵可由一步转移概率矩阵通过公式 P(2) =P2计算求出: Excel中矩阵相乘的步骤： （1）选中存放计算结果的区域，输入=MMULT(矩阵
率矩阵。
P11 P21 P P N1 P12 P22 PN 2 P1 N P2 N PNN
基本概念
通常称矩阵 P 为 状态转移概率矩阵，没有特别说明步数时，一 般均为一步转移概率矩阵。矩阵中的每一行称之为概率向量。 转移概率矩阵的特征??
状态转移概率矩阵及其基本特征 状态转移概率矩阵具有如下特征： （1） 0 Pij 1 i , j 1, 2, （ 2）
畅 畅 滞 畅 滞 滞 畅 畅 畅 滞 畅 滞 1 1 2 1 2 2 1 1 1 2 1 2 13 14 15 16 17 18 19 20 21 22 23 24 畅 畅 滞 滞 畅 畅 滞 畅 滞 畅 畅 畅 1 1 2 2 1 1 2 1 2 1 1 1
用“1”表示畅销 用“2”表示滞销
季度
P12 n P22 n PN 2
n
P1 N n P2 N n PNN