i i i
得：随意取出一球时，所需要的信息量为 （1） P（红）= P（白）=1/2
1 1 1 1 H（X）= log 2 log 2 2 2 2 2
= 1比特
3 2013-8-9
（2）P（白）= 1/100 P（红）= 99/100 所以 1 H（X）= log 2
100
1 99 99 log 2 100 100 100
13 2013-8-9
2-10
解： (1)H(colour)=2/38log19+2*(18/38)log(38/18) =0.22+1.02=1.24bit (2)H(colour,number)=H(number)=log38 =5.25bit (3)H(number|colour)=H(c,n)-H(c) =5.25-1.24=4.01bit
8 2013-8-9
2-5
解： （1）I=log18=4.17bit （2）略
9 2013-8-9
2-6
解：
(1) 平均每个符号携带的信息量：
H(X)=14/45log(45/14)+13/45log(45/13) +12/45log(45/12)+6/45log(45/6) =1.95比特/符号 (2)消息自信息量： I=1.95*45=87.8
40 2013-8-9
信源熵
H w1 H ( x / s1) w2 H ( x / s2) w3 H ( x / s3) 1.435
41 2013-8-9
5
2-23
略
28 2013-8-9
2-24
解： 1 3 4 H ( x) log 4 log 0.81 (1)
4 4 3
(2)
1 *3 I log 4 4
m
100 m
41 1.59m
29 2013-8-9
(3)
30 2013-8-9
ti b1 8 )x ( H0 0 1 H
14 2013-8-9
2-11
解： (1)H(X,Y)=14/24log(24/7)+4/24log24+1/4log4 =2.3bit (2)H(Y)=8/24log3+8/24log3+8/24log3 =1.58bit (3)H(X/Y)=H(X,Y)-H(Y)=0.72
15 2013-8-9
1/2 W1+1/3W2 +1/3W3 = W1 1/2 W1+2/3W3 = W2 2/3W2 =W3
W1 +W2 +W3=1
32 2013-8-9
得：
W1=2/5；W2 =9/25；W3=6/25
33 2013-8-9
2-27
解： 0.8W1+0.5W3=W1 0.2W1+0.5W3=W2 0.5W2+0.2W4=W3 0.5W2+0.8W4=W4 W1+W2+W3+W4=1
1/2
P(b1)=P(b1,a1)+P(b1,a2)=P(b1/a1)P(a1)+ P(b1/a2)P(a2) =(1-ε)*(1/2)+1/2* ε=1/2 P(a1,b1)=1/2*(1-ε) P(a1/b1)= P(a1,b1)/P(b1)=1- ε
20 2013-8-9
I(a1,b1)=log[2*(1-ε)]
6 2013-8-9
(5) I(1,X)=log36/11=1.7105bit
2-3 解： 因为： P(v/u)=P(u,v)/P(u)=(1/4*3/4)/(1/2)=3/8 所以： I=log(8/3)=1.42bit
7 2013-8-9
2-4
解： 平均信息量 h(X)=3/8log(8/3)+2/4log4+1/8log8 =1.905比特/符号 信息量 H(X)=60*1.905=114.3比特
2-12
解： (1)Leabharlann (X)=1; H(Y)=1; H(Z)=7/8*log(8/7)+1/8*log8=0.54 H(YZ)=H(XZ)=H(X)+H(Z/X) =1+1/8*log4+3/8*log(4/3)=1.41 H(XYZ)=H(XZ)+H(Y/XZ)=1.41+0.4=1.81
16 2013-8-9
p(a1/b2) I (a1;b2)=log p(a1)
P(b2)=P(b2,a1)+P(b2,a2)=P(b2/a1)P(a1)+ P(b2/a2)P(a2)
=(1-ε)*(1/2)+1/2* ε=1/2
P(a1,b2)= P(b2/a1)*P(a1)= 1/2* ε
P(a1/b2)=P(a1,b2)/ P(b2)=ε
2-9
解：不确定度即为H(X) (1)H(X)=1/3log3+2/3log(3/2) =0.39+0.53=0.92bit (2)H(X)=4/14log(14/4)+10/14log14/10 =0.346+0.516=0.86bit (3)H(X)=5/14log(14/5)+9/14log(14/9) =0.41+0.53=0.94bit (4)H(x)=1/3*0.86+2/3*0.94=0.92bit
题目
2-2 设在一只布袋中装有100只对人手感觉 全相同的木球，每只球上涂有一种颜色。 100只球的颜色有下列3中情况： （1）红色球和白色球各50置； （2）红色球99只，白色球1只； （3）红、黄、蓝、白色各25只。 求从布袋中随意去除一只球时，猜测其颜色所 需要的信息量。

1 2013-8-9
2-20
解： （1）已知 所以
1 P x ( x) 6
1 H 0 ( X ) 6 log6dx log6 2.58 3
26 2013-8-9
3
（2）
已知
1 P x ( x) 10
所以
1 H 0 ( X ) 10 log10dx 3.322 5
27 2013-8-9
37 2013-8-9
2-29
解：
1 / 3 1 / 3 1 / 3 p 1 / 3 1 / 3 1 / 3 1 / 2 1 / 2 0
1/3W1 +1/3W2 +1/2W3= W 1 1/3W1+1/3W21/2 W 3=W2 1/3W1+1/3 W 2=W3 W1+W2+ W 3=1
I (a1,b2)=log2 ε
21 2013-8-9
2-16
解： (1) H(X)= -P(黑)*log P(黑)- P(白)*log P(白) =0.3*log(1/0.3)+0.7*log(1/0.7)
=0.5211+0.3602
=0.8813
22 2013-8-9
(2) H(X)= Wi * H ( X / Si)
18 2013-8-9
2-13
解： H(IJ)=4*(1/8)*log8+2*(1/10)log10+2/15*log15 +3/36*log36+1/12*log12 =3.415
19 2013-8-9
2-15
解： p(a 1/b1) p(a1/b1) I(a1;b1)=log =log
p(a1)
10 2013-8-9
2-7
解： I(2)=log2=1 I(4)=log4=2 I(8)=log8=3
11 2013-8-9
2-8
解： (1)I(点)=log(4/3)=0.42 I(划)=log4=2 (2)平均信息量： H(X)=1/4log4+3/4log(4/3)=0.81
12 2013-8-9
= 0.08比特
4 2013-8-9
（3） P（红）=P（白）=P（蓝）=P（黄）=1/4
所以 1 1 H（X）= 4 x （ log 2 ）
4 4
= 2比特
5 2013-8-9
2-2
解： (1)P（3,5）= 1/36+1/36= 1/18 I （3,5）= log18 = 4.17 bit (2)P（1,1）= 1/6*1/6= 1/36 I （1,1）= log36 = 5.17 bit (3)H（X）=1/36*6*log36+2/36*15*log18 =4.337 bit (4)H（X）=2*(1/36*log36+2/36*log18 +3/36log12+4/36log9+5/36log36/5)+6/36log6 =3.274bit
10000
X
1000
= 13288
6
Log10000 =2.1* 10
6
X=2.1*10 /13.288=158038个
24 2013-8-9
2-18
解： 由
kxdx
0
2
2
1
得 k=1/2 所以
x x ( X ) log dx 1.44bit HC 2 2 0
25 2013-8-9
2-25
解： 0.25p(0)+0.5p(1)=p(0) 0.75p(0)+0.5p(1)=p(1) P(0)+p(1)=1 得： P(0)=0.4;p(1)=0.6
31 2013-8-9
2-26
解：
1 / 2 P 1 / 3 1 / 3
1/ 2 0 2/3
0 2 / 3 0