第二章 信源与信息度量 习题解答1. 某大学设置五个学院，每个学院的学生数分别为学院： 数学 物理 外语 外贸 医学 人数： 300 400 500 600 200问“某学生王某是外语学院学生”这一消息提供的信息量是多少？解：总人数为：300+400+500+600+200=2000人 是外语学院学生的概率为：5000.252000= 同理计算其它学院学生概率后，得信源的概率空间为：12345()0.150.20.250.30.1X x x x x x p X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭“学生王某是外语学院学生”这一消息提供的信息量：33()lb ()lb 0.252I x p x =-=-=比特2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1） 事件“2和5同时呈现”的自信息量； （2） 事件“两个4同时呈现”的自信息量； （3） 事件“至少呈现一个1”的自信息量。

解：（1）事件“2和5同时呈现”的概率：1()18p A =，该事件的自信息量： 1()lb ()lb4.170 bit 18I A p A =-=-= （2）事件“两个4同时呈现”的概率：1()36p B =，该事件的自信息量：1()lb ()lb 5.170 bit 36I B p B =-=-=（3）事件“至少呈现一个1”的概率：11()36p C =，该事件的自信息量：11()lb ()lb 1.711 bit 36I C p C =-=-=3. 字母“e ” 在英文中出现的概率是0.103，字母“c ”出现的概率为0.022，字母“x ”出现的概率是0.001，求这些字母各自的自信息量。

解：（1）字母“e ”的自信息量：()lb ()lb0.103 3.279 bit I e p e =-=-=（2）字母“c ”的自信息量：()lb ()lb0.022 5.506 bit I c p c =-=-=（3）字母“x ”的自信息量：()lb ()lb0.0019.966 bit I x p x =-=-=4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。

有两个消息“现在完成1台仪器B ”，和“现在完成1台仪器C ”，试确定哪一种消息提供的信息量大些？其中有什么规律？ 解：因为()0.2,()0.3p B p C ==，()()p B p C <以及 消息提供的信息量与其出现概率倒数的对数成正比，所以B C I I >，即“现在完成一台仪器B ”提供的信息量大于“现在完成一台仪器C ”提供的信息量。

规律：(1) 出现概率为零的消息可略去。

(2) 概率小的消息出现时提供的信息量大于概率大的消息出现时提供的信息量。

5. 某地，35%的女孩上大学，65%的女大学生身高超过1.6米，而一个女孩身高超过1.6米的概率是50%，现有一条消息：说某一个身高超过1.6米的女孩是大学生，求这条消息的信息量。

解：根据题意，35%的女孩上大学，一个女孩身高超过1.6米的概率是50%，得两个信源概率空间：==()0.350.65X x x p X ⎧⎫⎡⎤=⎨⎬⎢⎥⎩⎭⎣⎦1大学生2非大学生，== 1.6m ()0.50.5Y y y p Y <⎧⎫⎡⎤=⎨⎬⎢⎥⎩⎭⎣⎦1身高>1.6m2身高，根据65%的女大学生身高超过1.6米，知：11(/)0.65p y x =，消息：某一个身高超过1.6米的女孩是大学生的概率为：111111(/)()0.650.35(/)0.455()0.5p y x p x p x y p y ⨯===该消息的信息量：1111(/)lb (/)lb0.455 1.136bitI x y p x y =-=-=6. 试求：（1） 在一付标准的扑克牌中抽出一张（每张牌均认为是不同的）的平均信息量。

（2） 若扑克牌仅按它的等级鉴定而不问它的花色(大、小王属同一等级)，重复上述计算。

解：(1)()lb54 5.76H X == 比特/每张牌 (2),1,2,A K ⋅⋅⋅出现的概率为：454，王出现的概率为：254，信源的概率空间为： 1234567891044444444444442()5454545454545454545454545454J Q K xx x x x x x x x x x x x x X p X ⎧⎫⎡⎤⎪⎪=⎨⎬⎢⎥⎣⎦⎪⎪⎩⎭王 4422()13lb 1lb 3.7954545454H X =-⨯-⨯=比特/每张牌。

7. 某地的天气预报为：晴（占4/8），多云（占2/8），雨（占1/8），雪（占1/8），冰雹（占0/8）；而当地老农对天气的预测只能做到：晴（占7/8），雨（占1/8）。

试求两者对天气预报各自提供的平均信息量，并说明从中得到的规律。

解：天气预报：4211()08888xx x x x X p X ⎧⎫⎡⎤⎪⎪=⎨⎬⎢⎥⎣⎦⎪⎪⎩⎭雨冰雹晴多云雪 44221111()lb lb lb lb 1.7588888888H X =----=比特/每次预报老农预报：71()88xx X p X ⎧⎫⎡⎤⎪⎪=⎨⎬⎢⎥⎣⎦⎪⎪⎩⎭雨晴7711()lb lb 0.548888H X =--=比特/每次预报。

天气预报给出更详细的消息及其概率分布，消息数更多，平均信息量更大。

8. 某离散无记忆平稳信源的概率空间为：12340123()3/81/41/41/8X x x x x p X ====⎧⎫⎡⎤=⎨⎬⎢⎥⎩⎭⎣⎦，若某消息符号序列为：202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求：（1） 该消息的自信息量；（2） 该消息平均每个符号携带的信息量。

解：（1）根据信源概率空间，计算得到每个符号的自信息量：()11(0)lb ()lb 3/8 1.415 bit I x p x ==-=-= ()22(1)lb ()lb 1/4 2 bit I x p x ==-=-= ()33(2)lb ()lb 1/4 2 bit I x p x ==-=-= ()44(3)lb ()lb 1/8 3 bit I x p x ==-=-=该消息序列各符号相互独立，其自信息量等于各符号自信息量之和：123414(0)13(1)12(2)6(3)87.810 bit I I x I x I x I x ==+=+=+==（2）该消息平均每个符号携带的信息量： 87.81/45 1.951 bit/symbol I ==比较该离散信源的熵：33111111()lblb lb lb 1.906 bit/symbol 88444488H X =----=，可见，该特定的消息符号序列平均每个符号携带的信息量仅仅是近似于离散信源熵，而不等同于信源熵，因为其每个消息出现的概率并不等同于信源概率空间各符号的概率分布。

9. 若每帧电视图像由3×105个像素组成，且像素是独立变化的。

每个像素取128个不同的亮度电平，并设亮度电平等概率出现。

（1） 问每帧图像含有多少信息量？（2） 若现有一广播员在约10，000个汉字的字汇中选1，000个字来口述此电视图像，问广播员描述此图像所播出的信息量是多少？（假设，10，000个汉字字汇等概率分布，并彼此无依赖）（3） 若要恰当地描述出此图像的所有信息量，广播员在口述中至少需要多少汉字？ 解：（1）每帧图像含有的信息量：56()()310lb128 2.110NH X NH X ==⨯⨯=⨯ 比特 （2）广播员描述此图像所播出的信息量：''4()()1000lb10000 1.32910N H Y N H Y ==⨯=⨯ 比特（3）平均每个汉字的信息量：()lb1000013.288H Y == 比特/汉字 广播员描述此图像所需的汉字数：''65()/()2.110N N H X H Y ==⨯⨯/13.288=1.58010 个汉字10. 设有一个信源，发送“0”和“1”两种符号，无论何时发出符号的概率均为p (0) = 0.4，p (1) = 0.6，并与以前发出的符号无关，（1） 问该信源是否是平稳信源？（2） 计算2()H X ，312()/H X X X 和lim ()N N H X →∞；（3） 计算4()H X ，并写出4X 信源中所有可能的符号序列。

解：（1）信源发出各符号的概率与时间无关，因此为平稳信源。

（2）离散无记忆信源熵：()0.04lb0.040.06lb0.060.971H X =--= 比特/符号 因为是无记忆信源，前后符号无相关性，因此：2()2() 1.942H X H X == 比特/两个符号3123(/)()()0.971H X X X H X H X === 比特/符号12lim ()lim()lim()()0.97111N N N N N H X H X X X H X H X N NN →∞→∞→∞==== 比特/符号（3）4()4() 3.884H X H X == 比特/四个符号4X 信源中所有可能的符号序列：0000 0001 0010 0011 0100 0101 0110 0111 10001001 1010 1011 1100 1101 1110 1111，共16种符号序列。

11. 有一二元数字通信系统，传送“0”和“1”的概率分别为1/4和3/4。

（1） 计算此系统的信源熵和其冗余度。

（2） 为了可靠地传输消息，对每个符号重复传输3次，试求其冗余度为多少；如果采用重复传输4次的方案呢？这样做是否合理？解：（1）0113()44X p X ⎧⎫⎡⎤⎪⎪=⎨⎬⎢⎥⎣⎦⎪⎪⎩⎭信源熵 1133()lb lb 0.8114444H X =--=比特/消息 二元信源的最大熵 max ()lb 21H X ==比特/消息 冗余度 max ()0.8111118.9%()1H X E H X =-=-=（2）重复三次信源熵 13()0.811()0.27033H X H X ===比特/消息 冗余度 13max ()0.2701173.0%()1H X E H X =-=-= 重复四次信源熵 14()0.811()0.20344H X H X ===比特/消息 冗余度 14max ()0.2031179.7%()1H X E H X =-=-= 重复四次不合理，因为当错误两个码元即2比2时，就不能采用最大似然法判决译码。

12. 黑白电视消息只有黑色()B 和白色()W 两种，即信源(,)X B W =，设黑色出现的概率为()0.3p B =，白色出现的概率()0.7p W =。