一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+= 证明：设P(x,y)=P(x)P(y),则有
1
H(X,Y)()()log
P()()11()()log
()()log ()()11()log
()log ()()
()()
xy
xy
xy x
y P x P y x P y P x P y P x P y P x P y P x P y P x P y H X H Y ==+=+=+∑∑∑∑∑
二、（50分）联合总体X ，Y 具有如下联合分布。

X
Y
分别计算
(1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少?
(3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？ 解答：(1) H(X,Y)=3.375
(2) H(X)=2, H(Y)=1.75
(3) H(X|y=1)=2,H(X|y=1)=1.875,H(X|y=1)=1.875, H(X|y=4)=0.5
(4)H(X|Y)=1.1264
(5)I(X;Y)=H(X)-H(X|Y)=2-1.1264=0.8736 三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。

输入总体为x Ω:{0P =0.9，1p =0.1}，假设观察到y=1，请计算(1|1)P x y ==？ 解：
(1|1)P x y ===
(1|1)(1)
(1|)()
x
P y x P x P y x P x ===∑=
=
9.015.01.085.01
.085.0⨯+⨯⨯
=22
.0085
.0=0.39
一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+=
二、（50分）联合总体X ，Y 具有如下联合分布。

X
Y
分别计算
(1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少?
(3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？
三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。

输入总体为
x Ω:{0P =0.9，1p =0.1}，假设观察到y=1，请计算(1|1)P x y ==？。