信息论与编码理论习题解

第二章-信息量和熵

2.1解: 平均每个符号长为:1544.0312.032秒

每个符号的熵为9183.03log3123log32比特/符号

所以信息速率为444.34159183.0比特/秒

2.2 解: 同步信号均相同不含信息,其余认为等概,

每个码字的信息量为 3*2=6 比特；

所以信息速率为600010006比特/秒

2.3 解:(a)一对骰子总点数为7的概率是366

所以得到的信息量为 585.2)366(log2 比特

(b) 一对骰子总点数为12的概率是361

所以得到的信息量为 17.5361log2 比特

2.4 解: (a)任一特定排列的概率为!521,所以给出的信息量为

58.225!521log2 比特

(b) 从中任取13张牌,所给出的点数都不相同的概率为

13521313521344!13CA

所以得到的信息量为 21.134log1313522C 比特.

2.5 解:易证每次出现i点的概率为21i,所以 比特比特比特比特比特比特比特398.221log21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21log)(2612iiXHxIxIxIxIxIxIiiixIi

2.6 解: 可能有的排列总数为

27720!5!4!3!12

没有两棵梧桐树相邻的排列数可如下图求得，

Y X Y X Y X Y X Y X Y X Y X Y

图中X表示白杨或白桦，它有37种排法，Y表示梧桐树可以栽种的位置，它有58种排法，所以共有58*37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log27720log22=3.822 比特

2.7 解: X=0表示未录取，X=1表示录取；

Y=0表示本市，Y=1表示外地；

Z=0表示学过英语，Z=1表示未学过英语，由此得 比特比特比特比特6017.02log21412log2141910log1094310log10143)11(log)11()1()10(log)10()1()01(log)01()0()00(log)00()0()(8113.04log4134log43)()(02698.04110435log104354310469log10469)1()01(log)01()0()00(log)00()0;(104352513/41)522121()0(/)1())11()1,10()10()1,00(()01(104692513/43)104109101()0(/)0())01()0,10()00()0,00(()00()(4512.04185log854383log83)1()01(log)01()0()00(log)00()0;(8551/4121)0(/)1()10()01(8351/43101)0(/)0()00()00()(,251225131)1(,2513100405451)10()1()00()0()0(,54511)1(,51101432141)10()1()00()0()0(,41)1(,43)0(222222222222222222xypxypxpxypxypxpxypxypxpxypxypxpXYHXHcxpzxpzxpxpzxpzxpzXIzpxpxypxyzpxypxyzpzxpzpxpxypxyzpxypxyzpzxpbxpyxpyxpxpyxpyxpyXIypxpxypyxpypxpxypyxpazpyzpypyzpypzpypxypxpxypxpypxpxp

2.8 解:令RFTYBAX,,,,，则

比特得令同理03645.0)()(5.0,02.03.0)2.05.0(log2.0)()2.05.0(log)2.05.0()2.03.0(log)2.03.0(5.0log5.03.0log3.0)5log)1(2.02log)1(5.0log)1(3.05log2.0log3.02log5.0(2.0log2.0)2.05.0(log)2.05.0()2.03.0(log)2.03.0()()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)()()()()(5.0max2'2222223102231022222ppIpIppppIppppppppppppppXYHYHYXIpIRPpFPpppBPBTPAPATPTP

2.9 & 2.12

解:令X=X1,Y=X1+X2,Z=X1+X2+X3,

H(X1)=H(X2)=H(X3)= 6log2 比特

H(X)= H(X1) = 6log2

=2.585比特

H(Y)= H(X2+X3)

=

6log61)536log365436log364336log363236log36236log361(2222222

= 3.2744比特

H(Z)= H(X1+X2+X3)

= )27216log2162725216log2162521216log2162115216log2161510216log216106216log21663216log2163216log2161(222222222

= 3.5993比特

所以

H(Z/Y)= H(X3)= 2.585 比特

H(Z/X) = H(X2+X3)= 3.2744比特

H(X/Y)=H(X)-H(Y)+H(Y/X)

= 2.585-3.2744+2.585

=1.8955比特

H(Z/XY)=H(Z/Y)= 2.585比特

H(XZ/Y)=H(X/Y)+H(Z/XY)

=1.8955+2.585

=4.4805比特

I(Y;Z)=H(Z)-H(Z/Y)

=H(Z)- H(X3)

= 3.5993-2.585

=1.0143比特

I(X;Z)=H(Z)-H(Z/X)

=3.5993- 3.2744

=0.3249比特

I(XY ;Z)=H(Z)-H(Z/XY)

=H(Z)-H(Z/Y) =1.0143比特

I(Y;Z/X)=H(Z/X)-H(Z/XY)

= H(X2+X3)-H(X3)

=3.2744-2.585

=0.6894比特

I(X;Z/Y)=H(Z/Y)-H(Z/XY)

=H(Z/Y)-H(Z/Y)

=0

2.10 解:设系统输出10个数字X等概,接收数字为Y,

显然101)(101)()()(9190ijpijpiQjwii

H(Y)=log10

比特奇奇奇奇偶18log81101452log211015)(log)()()(log)()(0)(log),()(log),()(22,2222xypxypxpxxpxxpxpxypyxpxypyxpXYHxyxiyxyx

所以

I(X;Y)= 3219.2110log2比特

2.11 解:（a）接收前一个数字为0的概率

2180)0()()0(iiiupuqw

bitsppwupuI)1(log11log)0()0(log)0;(2212121 （b）同理 4180)00()()00(iiiupuqw

bitsppwupuI)1(log22)1(log)00()00(log)00;(24122121

（c）同理 8180)000()()000(iiiupuqw

bitsppwupuI)1(log33)1(log)000()000(log)000;(28132121

（d）同理 ))1(6)1(()0000()()0000(42268180ppppupuqwiii

bitsppppppppppwupuI42264242268142121)1(6)1()1(8log))1(6)1(()1(log)0000()0000(log)0000;(

2.12 解:见2.9

2.13 解:

(b)

)/()/()/(1log)()/(1log)()/()/(1log)()/(1log)()/(XYZHXYHxyzpxyzpxypxyzpxyzpxypxyzpxyzpxyzpXYZHxyzxyzxyzxyz

(c)

)/()/(1log)/()()/(1log)/()()/(XZHxzpxyzpxypxyzpxyzpxypXYZHxyzxyz（由第二基本不等式）

或 0)1)/()/((log)/()()/()/(log)/()()/(1log)/()()/(1log)/()()/()/(xyzpxzpexyzpxypxyzpxzpxyzpxypxzpxyzpxypxyzpxyzpxypXZHXYZHxyzxyzxyzxyz（由第一基本不等式）

所以

)/()/(XZHXYZH

(a)

)/()/()/()/()/(XYZHXYZHXYHXZHXYH

等号成立的条件为)/()/(xzpxyzp,对所有ZzYyXx,,,即在给定X条件下Y与Z相互独立。

2.14 解:

(a) )/()/()/()/()/()/(ZXHZXYHZYHYZXHZYHYXH

(b)