第十讲 几种常用的随机过程10.1 马尔可夫过程 10.1.1马尔可夫序列马尔可夫序列是指时间参数离散，状态连续的马尔可夫过程。

一个随机变量序列x n （n=1,2,…）,若对于任意的n 有)|(),...,,|(1121x x F x xx x F n n X n n nX---= （10.1）或)|(),...,,|(1121xx f x xx x f n nXn n nX---=（10.2）则称x n 为马尔可夫序列。

x n 的联合概率密度为)()|( )|()|(),...,,(11221121x f x x f xx f x x f x x x f XXn n Xn nXnX⋅⋅---=（10.3）马尔可夫序列有如下性质：（1） 一个马尔可夫序列的子序列仍为马尔可夫序列。

（2） )|(),...,,|(121xx f x x x x f n nXk n n n n X -+++=（10.4）（3） )|(),...,|(111xX x x X n n n n E E --=（10.5）（4） 在一个马尔可夫序列中，若已知现在，则未来与过去相互独立。

即)|()|()|,(1x x f xx f x x x f r sXn nXrsnX-=，n>r>s （10.6）（5） 若条件概率密度)|(1x x f n n X -与n 无关，则称马尔可夫序列是齐次的。

（6） 若一个马尔可夫序列是齐次的，且所有的随机变量X n 具有同样的概率密度，则称该马尔可夫序列为平稳的。

（7） 马尔可夫序列的转移概率满足切普曼—柯尔莫哥洛夫方程，即)|()|()|(x x fx x fx x fsr Xrn Xsn X⎰∞∞-=，n>r>s (10.7)10.1.2马尔可夫链马尔可夫链是指时间参数，状态方程皆为离散的马尔可夫过程。

1 马尔可夫链的定义 设),2,1( =n X n 为离散时间随机过程，其状态空间},,,{21a a a NI =。

如果过程在k m t +时刻为任一状态),,2,1(N i a i k m =+的概率，只与过程在m t 时刻的状态有关，而与过程在m t 时刻以前的状态无关，即11m k {|,,}P{|} (10.8)X m k m m k m m k m m P i i i i i aa a X X X a a X ++++====== 则称该过程为马尔可夫链，或简称马氏链。

2 马氏链的转移概率及有限维分布马氏链的转移概率定义为(,){|}, i,j 1,2,N;m,k.9m km j i ijm m k p p a a XX ++====皆为正整数（10）如果),(k m m p ij+与m 无关，则称该马氏链为齐次的。

下面我们仅研讨齐次马氏链，并习惯上省去“齐次”二字。

马氏链的一步转移概率及其矩阵分别定义为m 1(1)(,1)P{|} (10.10)Xm ij ij ij m m j ip p p aa X +=+====⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡==p p p p p p p p p NN N N N N P P 212222111211)1( （10.11） 一步转移概率矩阵P 有以下两个性质10≤≤pij（10.12）∑==Ni ijp11（10.13）马氏链的高阶转移概率及其矩阵分别定义为m n()(,)P{|} ( 10.14 )Xm ij ij n m m n j ip p aa X +=+===111212122212()()()()()()() (10.15)()()()NN N N NN n n n n n n P n n n n p pp p p pp pp ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦n 步转移概率矩阵P(n)具有如下的性质：0() 1 (10.16)ijn p ≤≤1() 1 (10.17)Niji n p ==∑此外，还规定⎩⎨⎧≠====ji ji m m ij ij ij p p ,0,1),()0(δ马氏链的n 步转移概率及其矩阵具有如下的切普慢—柯尔摩哥洛夫方程的离散形式，即Nirr 1()()() (10.18)p ijijrjn l k k ppp ==+=∑()()()() (10.19)p n p l k p l p k =+=当n 为任意正整数时，则有()(1) (10.20)np n p p n p =⋅-==式（7.18），若n=k+1,则有(1)()() (10.21)ijirrjirrjrrk k k p p pp p +==∑∑ 由上可知，以一步转移概率p ij为元素的一步转移概率矩阵P 决定了马氏链状态转移过程的概率法则。

但是，P 决定不了初始概率分布，必须引入初始概率0{},0,1,2,(10.22)i ip i px a ===并称{p i}=（ ,,,21p p p ）为初始分布，显然有10, 1 (10.23)iiipp ≥≥=∑若绝对概率}{)(a X p jkjp k ==，则有(1)(1)() (10.24)jiijiijiik k k p p p p p +=+=∑∑马氏链的有限维分布可表示为0101010011010101{,,,}p{}{|}{|}(10.25)i X X pnn n n nn n n p i i i P i i i P i i i ii ia a a X X X a a a X a a X X p p ---==========3．遍历性及平稳分布（1）遍历性 设)(n X 为齐次马氏链，若对于一切状态i 与j ，存在不依赖于i 的极限lim () (10.36)ij j n p n p →∞= 则称马氏链X （n ）具有遍历性。

定理 （有限马氏链具有遍历性的充分条件）对有限状态的齐次马氏链X （n ），若存在正整数m ，使()0,,1,2,..., (10.37)ij p m i j N >=则此链是遍历的。

而且，式（10.36）中的},...,{}{21N j p p p p =是方程组1,1,2,..., (10.38)Nj i ij i p p p j N ===∑在满足条件11, 1 (10.39)Nj j i o p p =<<=∑下的惟一解。

（2）平稳分布 马氏链的一个概率分布，如有和即：10},{0=≥∑∞=j j j j v v v.40j i i ijv v p ∞==∑（10）则称它为该链的平稳分布。

并有() (10.41)i i ij i v v p n ∞==∑10.1.3马尔可夫过程这里论及的马尔可夫过程是指时间，状态皆连续的马尔可夫过程。

扩散过程就是 这类马尔可夫过程的一个特例。

设有一随机过程：满足，，相应的观测值）观测得到（对，，若在n n n n n n x x x x t X t t t t T t t t t T t t X ,...,...,...,),(121121121---∈<<<<∈1221122111(;/,,...,,;,...,,)(;/;),3 .42X n n n n n n X n n n n F x t x x x x t t t t F x t x t n ------=≥的整数（10）则称此类过程为马尔可夫过程，简称马氏过程。

马氏过程的转移概率分布定义为：111100000(;|;){()()} (10.43 )(;|;){()|()}, (10.44 )X n n n n n n n X F x t x t P X t X t x F x t x t P X t x X t x t t ----=≤==≤=>或 转移概率分布是关于x 的分布函数，故有：00000001|0 .452| 1 .463|0 (10.47 4|X X X X F x t x t F t x t F t x t F x t x ≥∞=-∞=（）（；；）（10）（）（；；）（10）（）（；；））（）（；；1000111100 5||| X X X X t x F x t x t F x t x t d F x t x t ∞-∞=⎰）是关于单调不减，右连续的函数。

（）满足切普曼—柯尔莫哥洛夫方程（；；）（；；）（；；） .48（10）马氏过程的转移概率密度定义为0000(;|;)(;|;) .49 X X f x t x t F x t x t x∂=∂（10）故有 0000001221122111(;/;) 1 .50(;/;)(), .51(;/,,...,,;,...,,)(;/;),3 X X X n n n n n n X n n n n f x t x t dx f x t x t x x t t f x t x x x x t t t t f x t x t n δ∞-∞------=→-→=≥⎰（10）当时（10）的整数 .52（10）它也满足切普曼——柯尔莫哥洛夫方程(;/;)(;/;)(;/;),.53X n n k k X n n r r X r r k k k r n f x t x t f x n x t f x t x t dx t t t ∞-∞=<<⎰（10）如果马氏过程X （t ）有00000000 (;/;)(/;),t ( 10.54 ) (;/;)(/;), .55 X X X X F x t x t F x x t f x t x t f x x t t ττττ==-==-或（10）则称它为为齐次马尔可夫过程。

马氏过程X （t ）的n 维概率密度可写成 12121111112n 1(,,...;,,...,)(;)(;/;),...t (10.56 )X n n X X i i i i i f x x x t t t f x t f x t x t t t τ-++=<<<∏10.2 独立增量过程10.2.1独立增量过程设有一个随机过程))((T t t X ∈，若对任意的时刻b t t t t n <<<<<≤ 2100，过程的增量)()()()( )()(11201----n n t X t X t X t X t X t X 、、、 是相互独立的随机变量，则称)(t X 为独立增量过程或可加过程。

若参数集[] ,0b t T =，则像马尔可夫过程一样，独立增量过程的有限维分布可由它的初始概率分布{}x t X <)(P 0及一切增量的概率分布唯一地确定。

如果独立增量过程)(t X 的增量)()(1--i i t X t X 的分布仅与)(1--i i t t 有关，而与1-i i t t 、本身无关，则称)(t X 为齐次的。