随机过程-C4马尔可夫链收集于网络，如有侵权请联系管理员删除练习四：马尔可夫链 随机过程练习题1．设质点在区间[0，4]的整数点作随机游动，到达0点或4点后以概率1停留在原处，在其它整数点分别以概率31向左、右移动一格或停留在原处。
求质点随机游动的一步和二步转移的概率矩阵。
2．独立地重复抛掷一枚硬币，每次抛掷出现正面的概率为p ，对于2≥n 求，令n X =0，1，2或3，这些值分别对应于第1-n 次和第n 次抛掷的结果为（正，正），（正，反），（反，正）或（反，反）。
求马尔可夫链},2,1,0,{Λ=n X n 的一步和二步转移的概率矩阵。
3．设}0,{≥n X n 为马尔可夫链，试证：（1）},,,|,,,{11002211n n m n m n n n n n i X i X i X i X i X i X P ======++++++ΛΛ }|,,,{2211n n m n m n n n n n i X i X i X i X P =====++++++Λ（2）}|,,,,,,{11221100++++++======n n m n m n n n n n i X i X i X i X i X i X P ΛΛ}|,,,{111100++=====n n n n i X i X i X i X P Λ==⋅+++m n n n X i X P ,,{22Λ }|11+++=n n m n i X i4．设}1,{≥n X n 为有限齐次马尔可夫链，其初始分布和转移概率矩阵为==0{X P p i 4,3,2,1,41}==i i ，⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=4/14/14/14/18/34/18/14/14/14/14/14/14/14/14/14/1P ，试证 }41|4{}41,1|4{12102<<=≠<<==X X P X X X P5．设}),({T t t X ∈为随机过程，且)(11t X X =，,),(22Λt X X =Λ),(n n t X X =为独立同分布随机变量序列，令2,,)(,011110≥=+===-n X cY Y X t Y Y Y n n n ，试证}0,{≥n Y n 是马尔可夫链。
6．已知随机游动的转移概率矩阵为⎪⎪⎪⎭⎫ ⎝⎛=5.005.05.05.0005.05.0P ，求三步转移概率矩阵)3(P 及当初始分布为1}3{,0}2{}1{000======X P X P X P 时经三步转移后处于状态3的概率。
7．已知本月销售状态的初始分布和转移概率矩阵如下：（1）)4.0,2.0,4.0()0(=TP ，⎪⎪⎪⎭⎫ ⎝⎛=6.02.02.02.07.01.01.08.08.0P ；收集于网络，如有侵权请联系管理员删除（2）)3.0,3.0,2.0,2.0()0(=T P ，⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=5.02.01.01.02.06.01.01.01.02.06.01.01.01.01.07.0P ；求下一、二个月的销售状态分布。
8．某商品六年共24个季度销售记录如表（状态1——畅销，状态2——滞阵及三步转移后的销售状态分布。
10．讨论下列转移概率矩阵的马尔可夫链的状态分类。
（1）⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=010006.04.0000000100003.07.0005.03.02.0P ；（2）⎪⎪⎪⎪⎪⎭⎫⎝⎛=02.02.06.0007.03.000010100P ； （3）⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛=1000000000001ΛΛΛΛΛΛΛΛΛΛΛΛΛΛΛΛΛΛΛΛΛΛΛΛΛΛp r q p r q p r q P ，其中1=++p r q ，},,1,0{b I Λ=11．设马尔可夫链的转移概率矩阵为（1）⎪⎪⎭⎫⎝⎛3/23/12/12/1；（2）⎪⎪⎪⎭⎫ ⎝⎛332211000p q q p q p ；计算)(11n f ，)(12n f ，3,2,1=n 12．设马尔可夫链的状态空间}7,,2,1{Λ=I ，转移概率矩阵为收集于网络，如有侵权请联系管理员删除⎪⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=2.08.0000007.03.000000003.05.02.000006.004.0000004.06.0001.01.01.02.02.03.01.01.01.01.001.02.04.0P求状态的分类及各常返闭集的平稳分布。
13．设马尔可夫链的转移概率矩阵为⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=ΛΛΛΛΛΛΛΛΛΛΛΛ000000102211p q p q P ，求它的平稳分布。
14．艾伦菲斯特(E renfest)链。
设甲乙两个容器共有N 2个球，每隔单位时间从这N 2个球中任取一球放入另一容器中，记n X 为在时刻n 甲容器中球的个数，则}0,{≥n X n 是齐次马尔可夫链，称为艾伦菲斯特链，求该链的平稳分布。
15．将2个红球4个白球任意地分别放入甲、乙两个盒子中，每个盒子放3个，现从每个盒子中各任取一球，交换后放回盒中（甲盒内取出的球放入乙盒中，乙盒内取出的球放入甲盒中），以)(n X 表示经过n 次交换后甲盒中红球数，则}0),({≥n n X 为一齐次马尔可夫链，（1）求一步转移概率矩阵；（2）证明}0),({≥n n X 是遍历链；（3）求2,1,0,lim )(=∞→j P n ijn 16．设}1),({≥n n X 为非周期不可约马尔可夫链，状态空间为I ，若对一切I j ∈，其一步转移概率矩阵满足条件：1=∑∈Ii j i p ，试证（1）对一切I j ∈，1)(=∑∈Ii n j i p ；（2）若状态空间},,2,1{m I Λ=，计算各状态的平均返回时间。
17．设河流每天的BOD （生物耗氧量）浓度为齐次马尔可夫链，状态空间}4,3,2,1{=I 是按BOD 浓度为极低、低、中、高分别表示的，其一步转移概率矩阵（以一天为单位）为⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=4.04.02.001.06.02.01.01.02.05.02.001.04.05.0P 。
若BOD 浓度为高，则称河流处于污染状态。
（1）证明该链是遍历链；（2）求该链的平稳分布；（3）河流再次达到污染的平均时间4μ。
收集于网络，如有侵权请联系管理员删除答 案1．解：质点随机游动的一步转移的概率矩阵为⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=100003/13/13/10003/13/13/10003/13/13/100001P质点随机游动的二步转移的概率矩阵为⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡==100009/49/29/29/109/19/29/39/29/109/19/29/2/9/4000012)2(P P2．解：马尔可夫链},2,1,0,{Λ=n X n 的一步转移的概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=q p q p q p q p P 00000000 马尔可夫链},2,1,0,{Λ=n X n 的一步和二步转移的概率矩阵为⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡==222222222)2(q pq pqpq pq pq p q pq pqpq pq pq p P P 3．证：（1）},,,|,,,{11002211n n m n m n n n n n i X i X i X i X i X i X P ======++++++ΛΛ},,,{},,,,,,,{110022111100n n m n m n n n n n n n i X i X i X P i X i X i X i X i X i X P ==========++++++ΛΛΛn n mn m n n n n n i i i i i i i i i i i i i i p p p p p p p p 1100111100-+-++-=ΛΛΛm n m n n n i i i i p p +-++=11Λ }{},,,{11n n m n m n n n n n i X P i X i X i X P =====++++Λ}|,,,{2211n n m n m n n n n n i X i X i X i X P =====++++++Λ收集于网络，如有侵权请联系管理员删除（2）}|,,,,,,{11221100++++++======n n m n m n n n n n i X i X i X i X i X i X P ΛΛ }{},,,,,,,{1122111100++++++++========n n m n m n n n n n n n i X P i X i X i X i X i X i X P ΛΛ},,|,,{}{},,{110022111100++++++++++========n n m n m n n n n n n n i X i X i X i X P i X P i X i X P ΛΛΛ}|,,{1100++====n n n n i X i X i X P Λ}|,,{1122++++++===⋅n n m n m n n n i X i X i X P Λ4．证：}41,1{},4,41,1{}41,1|4{10210102<<==<<==<<==X X P X X X P X X X P}3,1{}2,1{},4,3,1{}4,2,1{1010210210==+=====+====X X P X X P X X X P X X X P1311213413124121p p p p p p p p p p ++=16541414141834141414141=⨯+⨯⨯⨯+⨯⨯=}41{}41,4{}41|4{11212<<<<==<<=X P X X P X X P}3{}2{}4,3{}4,2{112121=+===+===X P X P X X P X X P }3{}2{}3{}2{11341241=+==+==X P X P p X P p X P )(34123413441224i i i i i i i i i i p pp p p p p p p ++=∑∑∑===)(34124133441224i i i i i i i p pp p p p ++=∑∑∑===1871838741+⨯+⨯=6019=5．解：由题意1--=n n n CY X Y 知n Y 是),,(1n X X Λ的函数，由于ΛΛ,,,1n X X 是相互独立的随机变量，故对0≥∀n ，1+n X 与),,,(10n Y Y Y Λ独立。
},,,0|{11011n n n n i Y i Y Y i Y P ====++Λ },,,0|{11011n n n n n n i Y i Y Y Ci i CY Y P ===+=+=++Λ },,,0|{11011n n n n n i Y i Y Y Ci i X P ===+==++Λ}{11n n n Ci i X P +==++}|{11n n n n n i Y Ci i X P =+==++}|{11n n n n i Y i Y P ===++ 由k i ，1,,2,1+=n k Λ的任意性知}0,{≥n Y n 为马尔可夫链。