信息论与编码理论习题（三）
一、填空题（每空2分，共32分）。
1.在现代通信系统中，信源编码主要用于解决信息传输中的 ，信道编码主要用于解决信息传输中的 ，加密编码主要用于解决信息传输中的
2.离散信源⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/14/12/1)(4321x x x x x p X ，则信源的熵为 。
3.采用m 进制编码的码字长度为K i ，码字个数为n ，则克劳夫特不等式为 ，它是判断 的充要条件。
4.如果所有码字都配置在二进制码树的叶节点，则该码字为 。
5.齐次马尔可夫信源的一步转移概率矩阵为P ，稳态分布为W ，则W 和P 满足的方程为 。
6.设某信道输入端的熵为H(X)，输出端的熵为H(Y)，该信道为无噪有损信道，则该信道的容量为 。
7.某离散无记忆信源X ，其符号个数为n ，则当信源符号呈 分布情况下，信源熵取最大值 。
8.在信息处理中，随着处理级数的增加，输入消息和输出消息之间的平均互信息量趋于 。
二．选择题（共10分，每小题2分）
1、有一离散无记忆信源X ，其概率空间为⎥
⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡125.0125.025.05.04321x x x x
P X ，则其无记忆二次扩展信源的熵H(X 2)=( )
A 、1.75比特/符号；
B 、3.5比特/符号；
C 、9比特/符号；
D 、18比特/符号。
2、信道转移矩阵为112132425363(/)(/)
000000(/)(/)000000(/)(/)P y x P y x P y x P y x P y x P y x ⎡⎤⎢⎥⎢⎥
⎢⎥⎣⎦
，其中(/)j i P y x 两两不相等，则该信道为
A 、一一对应的无噪信道
B 、具有并归性能的无噪信道
C 、对称信道
D 、具有扩展性能的无噪信道
3、设信道容量为C ，下列说法正确的是：（ ）
A 、互信息量一定不大于C
B 、交互熵一定不小于C
C 、有效信息量一定不大于C
D 、条件熵一定不大于C
4、在串联系统中，有效信息量的值（ ）
A 、趋于变大
B 、趋于变小
C 、不变
D 、不确定
5、若BSC 信道的差错率为P ，则其信道容量为：（ ） A 、
()
H p C 、
()
1H p -
B 、 ()12
log 1p
p p p -⎡⎤
-⎢⎥⎢⎥⎣
⎦ D 、log()P P -
三．综合题
1.已知信源
1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤
=⎢⎥⎢⎥⎣⎦⎣⎦
（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分）
（3）计算编码信息率R ';（2分）
（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。
（2分）
2.一个一阶马尔可夫信源，转移概率为
()()()()1121122221
|,|,|1,|033
P S S P S S P S S P S S ====。
(1) 画出状态转移图。
(4分)
(2) 计算稳态概率。
(4分)
(3) 计算马尔可夫信源的极限熵。
(4分)
(4) 计算稳态下1H ,2H 及其对应的剩余度。
(4分)
3.设离散无记忆信源的概率空间为120.80.2X x x P ⎡⎤⎡⎤
=⎢
⎥⎢⎥⎣⎦⎣⎦
，通过干扰信道，信道输出端的接收符号集为[]12,Y y y =，信道传输概率如下图所示。
56
14
16
34
1
x 2
x 1
y 2
y
(1) 计算信源X 中事件1x 包含的自信息量； (2) 计算信源X 的信息熵； (3) 计算信道疑义度()|H X Y ； (4) 计算噪声熵()|H Y X ；
(5) 计算收到消息Y 后获得的平均互信息量。
参考答案： 一．填空
（1)有效性,可靠性,安全性 (2)1.75bit/符号（3）11≤∑=-n
i K i m ，唯一可译码存在（4）唯一可译码（5） W=WP （6）MAX H （Y ）(7)等概_ __log （n ）(8)减少
三．综合题 1.（1）
010
10
1
1
1
1.00.20.20.20.20.10.1
1S 2S 3S 4S 5S 6
S
（2）
6
10.420.63 2.6i i i L P ρ===⨯+⨯=∑码元
符号
（3)
bit
log r=2.6R L '=符号
(4） () 2.53
bit
0.9732.6
H S R L
=
=
=码元 ()()bit
0.2,0.2,0.2,0.2,0.1,0.1 2.53H S H ==符号
(5）
()()0.973log H S H S L r
L
η=
=
=
2.
解：(1)
1
S
2
S 13
1
(2)由公式()()()2
1
|i i
j j j P S P S
S P S ==
∑
有()()()()()()()()()()()2
111212
2211122|31
|31i i i i i i P S P S S P S P S P S P S P S S P S P S P S P S ==⎧
==+⎪⎪
⎪==⎨⎪
⎪+=⎪⎩
∑∑
得()()12
341
4
P S P S ⎧
=⎪⎪⎨⎪=⎪⎩ (3)该马尔可夫信源的极限熵为：
()()()
22
11
|log |322311
log log
43343311
0.578 1.599240.6810.4720.205i j i j i i j H P S P S S P S S bit nat hart ∞===-=-⨯⨯-⨯⨯=⨯+⨯===∑∑符号符号符号
(4)在稳态下：
()()2
1
3
311log log log 0.8114444i i i P x P x bit =⎛⎫=-=-⨯+⨯= ⎪⎝⎭∑符号
20.2050.4720.681H H hart nat bit ∞====符号符号符号
对应的剩余度为
1100.811110.1891111log log 2222H H η=-
=-=⎛⎫
⎛⎫⎛⎫-+ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭
2200.681110.3191111log log 2222H H η=-
=-=⎛⎫
⎛⎫⎛⎫-+ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭
3.
(1) ()1log 0.80.3220.09690.223I x bit hart nat =-=== (2) ()()0.8,0.20.7220.50.217H X H bit nat hart ====符号符号符号
(3)转移概率：
x y y 1
y 2
x 1 5/6 1/6 x 2
3/4
1/4
联合分布：
x y y 1
y 2
x 1 2/3 12/15 4/5 x 1
3/20 1/20 1/5
49/60
11/60
1/5
()2231,,,31520201.4040.9730.423H XY H bit nat hart ⎛⎫
= ⎪
⎝⎭===符号符号符号
()()49/60,11/600.6870.4760.207H Y H bit nat hart ====符号符号符号
()()()|0.7170.4970.216H X Y H XY H Y bit nat hart =-===符号符号符号
(4)
()()()|0.6820.4730.205H Y X H XY H X bit nat hart =-===符号符号符号
(5)
()()();|0.005040.003490.00152I X Y H X H X Y bit nat hart =-===符号符号符号。