2-1、一阶马尔可夫链信源有3个符号{}123,,u u u ，转移概率为：1112()u p u=，2112()u p u =，31()0u p u =，1213()u p u = ，22()0u p u =，3223()u p u =，1313()u p u =，2323()u p u =，33()0u p u =。

画出状态图并求出各符号稳态概率。

解：由题可得状态概率矩阵为：1/21/20[(|)]1/302/31/32/30j i p s s ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦状态转换图为：令各状态的稳态分布概率为1W ，2W ，3W ，则： 1W =121W +132W +133W ， 2W =121W +233W , 3W =232W 且：1W +2W +3W =1 ∴稳态分布概率为：1W =25，2W =925，3W = 6252-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。

解：状态转移概率矩阵为：令各状态的稳态分布概率为1w 、2w 、3w 、4w ，利用（2-1-17）可得方程组。

0.8 0.2 0 00 0 0.5 0.5()0.5 0.5 0 00 0 0.2 0.8j i p s s ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦1111221331441132112222332442133113223333443244114224334444240.80.50.20.50.50.20.50.8w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w =+++=+⎧⎪=+++=+⎪⎨=+++=+⎪⎪=+++=+⎩ 且12341w w w w +++=；解方程组得：12345141717514w w w w ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩ 即：5(00)141(01)71(10)75(11)14p p p p ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是16，求：（1）、“3和5同时出现”事件的自信息量； （2）、“两个1同时出现”事件的自信息量； （3）、两个点数的各种组合的熵或平均信息量； （4）、两个点数之和的熵；（5）、两个点数中至少有一个是1的自信息量。

解：（1）3和5同时出现的概率为：1111p(x )=26618⨯⨯= 11I(x )=-lb4.1718bit ∴= （2）两个1同时出现的概率为：2111p(x )=6636⨯=21I(x )=-lb5.1736bit ∴= （3）两个点数的各种组合（无序对）为： (1,1),(1,2),(1,3),(1,4),(1,5),(1,6) (2,2),(2,3),(2,4),(2,5),(2,6) (3,3), (3,4),(3,5),(3,6) (4,4),(4,5),(4,6)(5,5),(5,6) (6,6) 其中，(1,1), (2,2), (3,3), (4,4), (5,5), (6,6)的概率为1/36，其余的概率均为1/18 所以，1111()156 4.33718183636H X lb lb bit ∴=-⨯-⨯=事件 （4）两个点数之和概率分布为：46781023591112356531244213636363636363636363636x p 信息为熵为：122()1() 3.27iii H p x bp x bit ==-=∑（5）两个点数之中至少有一个是1的概率为：311()36p x = 311I(x )=-lb1.1736bit ∴= 2-4.设在一只布袋中装有100个用手触摸感觉完全相同的木球，每个球上涂有一种颜色。

100个球的颜色有下列三种情况： （1）红色球和白色球各50个； （2）红色球99个，白色球1个； （3）红、黄、蓝、白色球各25个。

分别求出从布袋中随意取出一个球时，猜测其颜色所需要的信息量。

解：（1）设取出的红色球为1x ，白色球为2x ；有11()2p x =，21()2p x = 则有：1111()()2222H X lblb =-+=1bit/事件 (2) 1()0.99p x =,2()0.01p x =;则有：()(0.990.990.010.01)H X lb lb =-+=0.081（bit/事件）(3)设取出红、黄、蓝、白球各为1x 、2x 、3x 、4x ，有12341()()()()4p x p x p x p x ==== 则有：11()4()244H X lb bit =-=/事件2-5、居住某地区的女孩中有25%是大学生，在女大学生中有75%身高为1.6M 以上，而女孩中身高1.6M 以上的占总数一半。

假如得知“身高1.6M 以上的某女孩是大学生”的消息，问获得多少信息量？解：设女孩是大学生为事件A ，女孩中身高1.6m 以上为事件B ，则p(A)=1/4, p (B)=1/2，p (B|A)=3/4，则 P(A|B)=()()(|)()()p AB p A P B A p B P B ==0.250.7530.58⨯= I （A|B ）＝log （1/p(A/B)）=1.42bit2-6.掷两颗 ，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？解：（1）小圆点数之和为3时有（1,2）和（2,1），而总的组合数为36，即概率为1(3)18p x ==，则 1(3)(3) 4.1718I x lbp x lbbit ==-==-= （2）小园点数之和为7的情况有（1,6），（6,1）（2,5）（5,2）（3,4）（4,3），则概率为1(7)6p x ==，则有 1(7) 2.5856I x lb bit ==-= 2-7、设有一离散无记忆信源，其概率空间为1234013338141418X x x x x P ====⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ （1）、求每个符号的自信息量； （2）、信源发出一消息符号序列为{}202120130213001203210110321010021032011223210，求该消息序列的自信息量及平均每个符号携带的信息量。

解：（1）1x 的自信息量为：13I(x )=-lb1.4158bit = 2x 的自信息量为：21I(x )=-lb 24bit =3x 的自信息量为：31I(x )=-lb24bit = 4x 的自信息量为：41I(x )=-lb 38bit =（2）在该消息符号序列中，1x 出现14次，2x 出现13次，3x 出现12，4x 出现6次，所以，该消息序列的自信息量为：I （i x ）=14 I （1x ）+13 I （2x ）+12 I （3x ）+6 I （4x ）19.8126241887.81bit bit bit bitbit=+++=平均每个符号携带的信息量为：11223344()()log ()()log ()()log ()()log ()H X p x p x p x p x p x p x p x p x =+++31111.41522384481.906bit=⨯+⨯+⨯+⨯=2-8．试问四进制、八进制脉冲所含的信息量是二进制脉冲的多少倍？解;设二进制、四进制、八进制脉冲的信息量为21()12I X lbbit =-= 41()24I X lb bit == 81()38I X lb bit == 所以，四进制、八进制脉冲信息量分别是二进制脉冲信息量的2倍、3倍。

2-10 在一个袋中放5个黑球、10个白球，以摸一个球为实验，摸出的球不再放进去。

求： （1）一次实验中包含的不确定度；（2）第一次实验X 摸出是黑球，第二次实验Y 给出的不确定度； （3）第一次实验X 摸出是白球，第二次实验Y 给出的不确定度；287.81/45 1.95I =≈ 比特/符号（4）第二次实验包含的不确定度。

解：（1）一次实验的结果可能摸到的是黑球1x 或白球2x ，它们的概率分别是11()3p x =，22()3p x =。

所以一次实验的不确定度为 121122()(,)(log log )0.5280.3900.918333333H X H bit ==-+=+=(2)当第一次实验摸出是黑球，则第二次实验Y 的结果可能是摸到黑球1x 或白球2x ，它们的概率分别是 112()7p y x =、215()7p y x =。

所以该事件的不确定度为1112255()()log ()(log log )7777i i iH Y x p y x p y x =-=-+∑0.5160.3470.863bit =+=/符号(3)当第一次实验摸出是白球，则第二次实验Y 的结果可能是摸到黑球1y 或白球2y ，它们的概率分别是 125()14p y x =、229()14p y x =。

所以该事件的不确定度为2225599()()log ()(log log )14141414i i iH Y x p y x p y x =-=-+∑0.5300.4100.940bit =+=/符号（4）211220(|)()(|)=()()()() =0.91bit /i i i H Y X p x H Y x p x H Y x p x H Y x ==-+∑符号二次实验B 出现结果的概率分布是p(x,y)=p(黑，黑)= 221，p(x,y)=p(黑，白)= 521，p(x,y)=p(白，黑)=521，p(x,y)=p(白，白)= 921所以二次实验的不确定度为 H(B)= -221log 221-521log521-521log 521-921log 921=0.91bit/符号2-11有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，、、、，38数字标示，其中有2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。

（1）若仅对颜色感兴趣，则计算平均不确定度； （2）若对颜色和数字都感兴趣，则计算平均不确定度； （3）如果颜色已知时，则计算条件熵。

解：令X 表示指针指向某一数字，则X={1,2,……….,38} Y 表示指针指向某一种颜色，则Y={绿色，红色，黑色} Y 是X 的函数，由题意可知()()i j i p x y p x = （1）仅对颜色感兴趣，则 H(c)=—322log 322—2⨯3218⨯log 3218=0.2236+1.0213 =1.245bit (2)对颜色和数字都感兴趣，则H(n,c)=H(n)=38⨯(-381)log 381=-3010.05798.1- =5.249bit(3)如果颜色已知时，则H （n|c ）=H(n,c)-H(h)=5.249-1.245=4.004bit2-12、两个实验X 和Y ，123{,,}X x x x =，123{,,}Y y y y =，联合概率(,)i j ij r x y r =为1112132122233132337/241/2401/241/41/2401/247/24r r r r r r r r r ⎡⎤⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦（1）如果有人告诉你X 和Y 的结果，你得到的平均信息量是多少？ （2）如果有人告诉你Y 的结果，你得到的平均信息量是多少？（3）在已知Y 的实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？ 解：（1）、3311(,)(,)log (,)iji j i j H X Y p x yp x y ===-∑∑7711112log 4log log 2424242444=-⨯-⨯- 2.3bit /=符号 （2）、1231()()()3p y p y p y ===3111111()()log ()(,,)3log 1.58bit/33333i i i H Y p y p y H ==-==-⨯=∑符号（3）、(|)(,)() 2.3 1.580.72bit/H X Y H X Y H Y =-=-=符号()(,)log ()i j i j ijH X Y p x y p x y =-∑(,)(,)log()71171124244(2log 4log log)111242443330.1120.50.1040.716i j i j ijj p x y p x y p y bit=-=-⨯+⨯+=++=∑ 2-13有两个二元随机变量X 和Y ，它们的联合概率如右图所示。