马尔可夫过程的概念
1. 马尔可夫性(无后效性)
过程或(系统)在时刻t0所处的状态为已知的 条件下,过程在时刻t t0所处状态的条件分布与 与过程在时刻t0之前所处的状态无关的特性称为 马尔可夫性或无后效性.
即: 过程“将来”的情况与“过去”的情况是无关 的.
2. 马尔可夫过程的定义
具有马尔可夫性的随机过程称为马尔可夫过程. 用分布函数表述马尔可夫过程 设 I : 随机过程 { X (t), t T } 的状态空间, 如果对时间t的任意n个数值, tX1 (tnt2)在 条t件n ,Xn(ti 3) ,tixi下T 的 , 条恰件有分布函数 P{ X (tnX) (tnx)n在| X条(t件1 )X (xt1n,1X)(t2 )xn1x下2 ,的,条X (件tn分1 ) 布x函n1数} P{ X (tn ) xn | X (tn1 ) xn1}, xn R
时间和状态都是离散的马尔可夫过程称为马尔 可夫链, 简记为 { Xn X (n), n 0, 1, 2, }.
或写成 Ftn|t1 xn1; t1, t2 , , tn1 )
Ftn|tn1 ( xn , tn | xn1, tn1 ),
这时称过程{ X (t ), t T } 具马尔可夫性或无后效性 . 并称此过程为马尔可夫过程.
3. 马尔可夫链的定义