二章-信息量和熵习题解2.1 莫尔斯电报系统中，若采用点长为0.2s ，1划长为0.4s ，且点和划出现的概率分别为2/3和1/3，试求它的信息速率(bits/s)。

解: 平均每个符号长为:1544.0312.032=⨯+⨯秒 每个符号的熵为9183.03log 3123log 32=⨯+⨯比特/符号所以，信息速率为444.34159183.0=⨯比特/秒2.2 一个8元编码系统，其码长为3，每个码字的第一个符号都相同(用于同步)，若每秒产生1000个码字，试求其信息速率(bits ／s)。

解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特；所以，信息速率为600010006=⨯比特/秒2.3 掷一对无偏的骰子，若告诉你得到的总的点数为：(a ) 7；(b ) 12。

试问各得到了多少信息量?解: (a)一对骰子总点数为7的概率是366 所以，得到的信息量为 585.2)366(log 2= 比特(b) 一对骰子总点数为12的概率是361所以，得到的信息量为 17.5361log 2= 比特2.4 经过充分洗牌后的一付扑克(含52张牌)，试问：(a) 任何一种特定排列所给出的信息量是多少?(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量?解: (a)任一特定排列的概率为!521, 所以，给出的信息量为 58.225!521log 2=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 13131313525213!44A C ⨯=所以，得到的信息量为 21.134log 1313522=C 比特.2.5 设有一个非均匀骰子，若其任一面出现的概率与该面上的点数成正比，试求各点出现时所给出的信息量，并求掷一次平均得到的信息量。

解:易证每次出现i 点的概率为21i,所以 比特比特比特比特比特比特比特398.221log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21log )(2612=-==============-==∑=i i X H x I x I x I x I x I x I i ii x I i2.6 园丁植树一行，若有3棵白杨、4棵白桦和5棵梧桐。

设这12棵树可随机地排列，且每一种排列都是等可能的。

若告诉你没有两棵梧桐树相邻时，你得到了多少关于树的排列的信息?解: 可能有的排列总数为27720!5!4!3!12=没有两棵梧桐树相邻的排列数可如下图求得，Y X Y X Y X Y X Y X Y X Y X Y图中X 表示白杨或白桦，它有⎪⎪⎭⎫ ⎝⎛37种排法，Y 表示梧桐树可以栽种的位置，它有⎪⎪⎭⎫ ⎝⎛58种排法，所以共有⎪⎪⎭⎫ ⎝⎛58*⎪⎪⎭⎫⎝⎛37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-=3.822 比特2.7 某校入学考试中有1/4考生被录取，3/4考生未被录取。

被录取的考生中有50%来自本市，而落榜考生中有10％来自本市，所有本市的考生都学过英语，而外地落榜考生中以及被录取的外地考生中都有40%学过英语。

(a) 当己知考生来自本市时，给出多少关于考生是否被录取的信息?(b) 当已知考生学过英语时，给出多少有关考生是否被录取的信息?(c) 以x 表示是否落榜，y 表示是否为本市学生，z 表示是否学过英语，x 、y 和z取值为0或1。

试求H (X )，H (Y |X )，H (Z |YZ )。

解: X=0表示未录取，X=1表示录取；Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得31(0),(1),44(0)(0)(00)(1)(01)31111,41042514(1)1,55(0)(0)(00)(1)(01)144013,55100251312(1)1,2525p x p x p y p x p y x p x p y x p y p z p y p z y p y p z y p z =========+====⨯+⨯===-======+====+⨯===-=22221313()(00)(00)(0)/(0)/104581115(10)(01)(1)/(0)/2458(00)(10)(;0)(00)log (10)log (0)(1)353588log log 3188440.4512a p x y p y x p x p y p x y p y x p x p y p x y p x y I X y p x y p x y p x p x ========⨯=========⨯=========+=====+=比特()(00)((00,0)(00)(01,0)(10))(0)/(0)19431369()/101010425104(10)((00,1)(01)(01,1)(11))(1)/(0)11211335()/225425104(;b p x z p z y x p y x p z y x p y x p x p z p x z p z y x p y x p z y x p y x p x p z I X ========+========+⨯⨯=========+========+⨯⨯=22222222(00)(10)0)(00)log (10)log (0)(1)69356935104104log log 31104104440.02698341()()log log 40.8113434()(0)(00)log (00)(0)(10)log (1p x z p x z z p x z p x z p x p x c H X H Y X p x p y x p y x p x p y x p y x ========+=====+==+=======+=====比特比特2222220)(1)(01)log (01)(1)(11)log (11)3139101111log 10log log 2log 2410410942420.6017p x p y x p y x p x p y x p y x =====+======⨯+⨯+⨯+⨯=比特2.8 在A 、B 两组人中进行民意测验，组A 中的人有50%讲真话(T )，30%讲假话(F )，20%拒绝回答(R )。

而组B 中有30%讲真话，50%讲假话和20%拒绝回答。

设选A 组进行测验的概率为p ，若以I (p )表示给定T 、F 或R 条件下得到的有关消息来自组A 或组B 的平均信息量，试求I (p )的最大值。

解:令{}{}R F T Y B A X ,,,,==，则比特得令同理03645.0)()(5.0,02.03.0)2.05.0(log 2.0)()2.05.0(log )2.05.0()2.03.0(log )2.03.0(5.0log 5.03.0log 3.0)5log )1(2.02log )1(5.0log )1(3.05log 2.0log 3.02log 5.0(2.0log 2.0)2.05.0(log )2.05.0()2.03.0(log )2.03.0()()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)()()()()(5.0max 2'2222223102231022222==∴==+-=---++-+=-+-+-+++-----++-=-===-=+=-⨯+=+==p p I p I p pp p I p p p p p p p p p p p p p p X Y H Y H Y X I p I R P p F P pp p B P B T P A P A T P T P2.9 随机掷三颗骰子，以X 表示第一颗骰子抛掷的结果，以Y 表示第一和第二颗骰子抛掷的点数之和，以Z 表示三颗骰子的点数之和。

试求H (Z |Y )、H (X |Y )、H (Z |XY )，H (XZ |Y )和H (Z |X )。

解:令X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3,H(X 1)=H(X 2)=H(X 3)=6log 2 比特 H(X)= H(X 1) =6log 2=2.585 比特 H(Y)= H(X 2+X 3)=6log 61)536log 365436log 364336log 363236log 36236log 361(2222222+++++ = 3.2744比特H(Z)= H(X 1+X 2+X 3))27216log 2162725216log 2162521216log 2162115216log 2161510216log 216106216log 21663216log 2163216log 2161(222222222++++++= = 3.5993 比特 所以H(Z/Y)= H(X 3)= 2.585 比特H(Z/X) = H(X 2+X 3)= 3.2744比特H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特 H(Z/XY)=H(Z/Y)= 2.585比特H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特2.12 计算习题2.9中的I (Y ；Z )，I (X ；Z )，I (XY ；Z )，I (Y ；Z |X )和I (X ；Z |Y )。

解:I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X 3)= 3.5993-2.585 =1.0143比特 I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744=0.3249比特 I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =1.0143比特I(Y;Z/X)=H(Z/X)-H(Z/XY)= H(X 2+X 3)-H(X 3) =3.2744-2.585 =0.6894比特 I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y) =02.10 设有一个系统传送10个数字：0, 1, …, 9。

奇数在传送时以0.5的概率错成另外的奇数，而其它数字总能正确接收。

试求收到一个数字平均得到的信息量。

解:设系统输出10个数字X 等概,接收数字为Y,显然 101)(101)()()(9190===∑∑==i j p i j p i Q j w i i ， H(Y)=log10 比特奇奇奇奇偶18log 81101452log 211015)(log)()()(log )()(0)(log ),()(log ),()/(22,2222=⨯⨯⨯⨯+⨯⨯⨯=--=--=∑∑∑∑∑∑∑≠====x y p x y p x p x x p x x p x p x y p y x p x y p y x p X Y H x y x i y x y x所以 I(X;Y)= 3219.2110log 2=-比特2.11 令{u l , u 2, …, u 8}为一等概消息集，各消息相应被编成下述二元码字:u l =0000，u 2=0011，u 3=0101，u 4=0110 u 5=1001，u 6=1010，u 7=1100，u 8=1111 通过转移概率为p 的BSC 传送。