p(V|x=-1)
1/2
p(V|x=1)
0
0 1/2
0 1/2 1/2
1 1/4
1 0 1/2
H (V ) 1 log 2 1 2log 4 1.5 bit
2
4
H (V | X ) 1 [1 l o g2 1 l o g2] 2 =1 bit
22
2
I (X ;V ) = H(V ) H(V | X ) = 0.5 bit
证明：(a) 由于 Q1(x) 和 Q2 (x) 是同一事件集 U 上的两个概率分布，于是
q1(x) 0， q2 (x) 0
q1(x)dx =1， q2 (x)dx =1
解：
即 I(u1;0) ， I(u1;00) ， I(u1;000) ， I (u1;0000)
p(0) = 1 (1 p) 4 + 1 p 4 = 1
8
8
2
I(u1;0) = log
p(0 | u1) p(0)
=
log
1
1
p
=1+ log(1
p)
bit
2
p(00) = 1[2(1 p)2 4(1 p) p 2 p2 ]= 1

p(
y

i
i为奇数)

1 10

p(
y

i
i为偶数)

1 10
(
1 2

1 8

1 8

1 8

1) 8

1 10
即输出等概，则 H (Y ) = log 10
H(Y | X ) =
p(xi y j ) log p( y j | xi )
i
j
=
p(xi y j ) log p( y j | xi ) -
2.29 令 Q1(x) 和 Q2 (x) 是同一事件集 U 上的两个概率分布，相应的熵分别为 H (U )1和 H(U)2 。 (a)对于 0 1，证明 Q(x) = Q1(x) + (1 ) Q2 (x) 是概率分布 (b) H(U) 是相应于分布 Q(x) 的熵，试证明 H(U) H (U )1+ (1 ) H(U)2
8
4
I(u1;00) = log
p(00 | u1) p(00)
= log (1 p)2 1/ 4
= 2[1 log(1 p)]
bit
p(000) = 1[(1 p)3 3(1 p)2 p 3(1 p) p2 p3 ] = 1
8
8
I(u1;000) =3[1+ log(1 p) ] bit
解：令第一第二第三颗骰子的结果分别为 x1, x2 , x3 ， x1， x2 ， x3 相互独立， 则 X x1 ， Y x1 x2 ， Z x1 x2 x3
H (Z | Y ) = H(x3 ) = log 6=2.585 bit
H(Z | X ) = H(x2 x3 ) = H (Y )
=3.5993 bit
I(Y; Z) = H(Z) - H (Z | Y ) = H(Z) - H(X ) =1.0143 bit
I (X ; Z) = H(Z) - H(Z | X ) = H(Z) - H (Y ) =0.3249 bit
I(X ,Y; Z) = H(Z) - H(Z | XY) = H(Z) - H(X ) =1.0143 bit
I(Y; Z | X ) = H(Z | X ) - H(Z | XY) = H (Y ) - H(X ) =0.6894 bit I(X ; Z | Y) = H (Z | Y ) - H(Z | XY) = H(X ) - H(X ) =0 bit
2.14 对于任意概率事件集 X,Y,Z，证明下述关系式成立 (a) H(Y, Z | X ) H(Y | X ) + H(Z | X ) ，给出等号成立的条件
= 1 1 1 log 1 dy 1 3 1 log 1dy =2 bit
2 3 4 4
2 1 4 4
I (X ;Y ) = HC (Y) - HC (Y | X ) =0.5 bit
(c) 由 ( y) 可得到 V 的分布律
V
-1
p
1/4
再由=
13!413 A5123
413 = C5123
信息量=
log
C 13 52

log 413
=13.208
bit
2.9 随机掷 3 颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示 3 颗骰子的点数之和，试求 H(Z | Y) 、 H(X | Y) 、
H(Z | X,Y) 、 H(X,Z | Y) 、 H(Z | X ) 。
1 8
1

y

3
0else
(b)
H
C
(Y
)
=
1 8
1
log
8

2

1
3
4
1
log 4 =2.5 bit
1
1
HC (Y | X ) = p(x 1) 3 p(y | x 1)log p(y | x 1)dy
3
p(x 1) p(y | x 1)log p(y | x 1)dy 1
=- p(xyz)log p( y | x) - p(xyz) log p(z | xy)
xyz
xyz
= H(Y | X ) + H(Z | XY)
(c) H(Z | X ,Y) =- p(xyz) log p(z | xy) xyz
= p(xy) [- p(z | xy) log p(z | xy) ]
p(xi y j ) log p( y j | xi )
j i偶
j i奇
=0-
p(xi y j ) log p( y j | xi )
j i奇
= - p(xi )p( yi | xi ) log p( yi | xi ) -
p(xi ) p( y j | xi ) log p( y j | xi )
1 4
,2

y

x

2
，求：
0, 其他
(a)Y 的概率密度 ( y)
(b) I (X ;Y )
(c) 若对 Y 做如下硬判决 1, y 1
V 0,1 y 1 1, y 1
求 I (X ;V ) ，并对结果进行解释。
解：(a) 由已知，可得
p( y
xy
z
p(xy) [- p(z | x) log p(z | x) ]
xy
z
=- p(xyz) log p(z | x) xyz
= H(Z | X )
当 p(z | xy) = p(z | x) ，即 X 给定条件下，Y 与 Z 相互独立时等号成立
(a) 上式(c)左右两边加上 H(Y | X ) ，可得
(b) H(Y, Z | X ) = H(Y | X ) + H(Z | X ,Y)
(c) H(Z | X ,Y) H(Z | X )
证明：(b) H(Y, Z | X ) =- p(xyz) log p( yz | x) xyz =- p(xyz) log[ p( y | x) p(z | xy)] xyz
=2( 1 log 36+ 2 log 18+ 3 log 12+ 4 log 9+ 5 log 36 )+ 6 log 6
36
36
36
36
36 5 36
=3.2744 bit
H(X | Y) = H(X ) - I (X ;Y ) = H(X ) -[ H (Y ) - H(Y | X ) ] 而 H(Y | X ) = H(X ) ，所以 H(X | Y) = 2 H(X ) - H (Y ) =1.8955 bit 或 H(X | Y) = H(XY) - H (Y ) = H(X ) + H(Y | X ) - H (Y ) 而 H(Y | X ) = H(X ) ，所以 H(X | Y) =2 H(X ) - H (Y ) =1.8955 bit H(Z | X ,Y) = H (Z | Y ) = H(X ) =2.585 bit H(X , Z | Y) = H(X | Y) + H(Z | XY) =1.8955+2.585=4.4805 bit
i1,3,5,7，9
i j i＝1，3，5，7，9
= 1 1 log 25+ 1 1 1 log 845
10 2
10 2 4
= 1 3 =1 bit 44
I (X ;Y ) = H (Y ) - H(Y | X ) = log 10 -1= log 5=2.3219 bit
H(Y | X ) + H(Z | X ,Y) H(Y | X ) + H(Z | X )
于是 H(Y, Z | X ) H(Y | X ) + H(Z | X )
1,1
2.28
令概率空间
X

1 ,
1

，令
Y
是连续随机变量。已知条件概率密度为
2 2
p(
y
|
x)


p(0 0 0)0= 1[(1 p)4 6(1 p)2 p2 p4 ] 8
I (u1;0
0
0)0=