（3） R L log r=2.6 bit 符号
（4）R
H
S
L
2.53 2.6
0.973
bit
码元
其中，H
S
H
0.2,
0.2,
0.2, 0.2,
0.1,
0.1
2.53 bit
符号
（5） H S H S 0.973
L log r L
20、解：(1)
1
3
S1
S2
1
9
2
(2)由公式 P Si P Si | S j P S j j 1
1
0.125
0
0.0625
0
0
1
0.25 0
1 1.0
0.5 0
码字 1 01 001 0001 00001 00000
平均码长 l 1 *1 1 * 2 1 *3 1 * 4 1 *5 1 *5 1.933码元/ 符号 2 4 8 16 32 32
编码效率为 H (x) 100% l
11、W=WP
12、 max H（Y）max H（x）
13、等概_ _log（n）
14、3bit/符号
15、递减
16、都是第一行的置换
17、N 倍
18、香农编码
19、无失真信源
20、下凸
上凸
21、1bit / 符号 输入符号等概分布
22、 0.0536 15bit
23、0.5436 比特/符 m log2 8 (100 m) log2 (8 / 7) 比特/符号。
4
min Dmax=
pi dij ，由于 pi和dij 具有对称性，每个和式结果都为 1/2，因此 Dmax= 1/2，
j1,2,3,4 i1
1 0 0 0
对应的转移概率矩阵可取任意 1 列为全 1，如 P 1 1
0 0
0 0
0 ，此时 0
R（Dmax）= R（1/2）
1 0 0 0
= 0。
5
11、0.0817bit/符号 12、0.612bit/符号
H (x)
6 pilb(
i 1
pi
)
1 2
lb2
1 4
lb4
1 8
lb8
1 16
lb16
1 32
lb32
1 32
lb32
Huffman 编码为：
=1.933 bit/符号
符号 概率 a1 0.5 a2 0.25 a3 0.125 a4 0.0625 a5 0.03125 a6 0.03125
1
1
SNR=10dB=10
16、
7
17、解：
码字
00
0.32
10
0.22 0
0.18
11
1
0 0.28 1
0 0.6
1 0.4
“1”
010
0.16
0
0110 0.08 0
1
0111 0.04
0.12
1
该信源在编码之前的信源熵为：
6
H (S ) P(xi ) log P（xi）=0.526+0.481+0.445+0.423+0.292+0.186 i 1
编码效率为 H (x) 100% l
9、解：
1 由右图可知，该信道的转移概率矩阵为 P 1/ 2
0
0 1/ 2
1
可以看到，当该信道的输入分布取
P(
X
)
a1 1/ 2
a2 0
a3 1/ 2
时，
P (Y
)
b1 1/ 2
b2 1/ 2
此时 I(X
a1;Y )
2 j 1
p(b j
/ a1) log
a2 0
a3 1/ 2
。
10、解： 由于失真矩阵每行每列都只有一个最小值“0”，所以可以达到 Dmin=0，此时对应的信道转
1 0 0 0 移概率矩阵应使得信源的每个输出经过信道转移后失真为 0，即选择 P 0 1 0 0 。
0 0 1 0 0 0 0 1
R（Dmin）= R（0）= H(U) = 1-p*log p –(1-p)*log(1-p) = 1+H(p)。
1/8 0
1/16
1/16 1
1/2
1/2
1/4
1/4
0 1/8
1/4
1/8 1
L 1 1 2 1 4 4 1 2
24
2
ቤተ መጻሕፍቲ ባይዱ
H (x) 100 ％ L
1/2 0
0
0
10
1/2
1 1110
1
1111
1100
1101
2
s0 s1 s2
4、
(1)
s0 p
0
0.5 0.5
s1 0.5 0.5 0
s2 0 0.5 0.5
14、解
1）
求信源的熵 H(X)及信源剩余度 ；
信源的熵：
信源剩余度：
2）
对其进行四元 Huffman 编码；
，其中
，若取
，可得大于 9 但与 9 最接近的正整数
10，因此在 Huffman 编码是加入一个零概率符号。
编码为 332； 编码为 331； 编码为 330； 编码为 32； 编码为 31； 编码 为 30； 编码为 2； 编码为 1； 编码为 0
RB max
198k 15 8
1.056 105 Baud
2、该信道为准对称信道
（1）两个对称信道矩阵为
0.8 0.1
0.1 0.8 0.8 0.1
0.1 0.8
和
0.1 0.1
N1=0.8+0.1=0.9,N2=0.1; M1=0.9,M2=0.2 ∴ C log 2 H(0.8,0.1,0.1) 0.9log0.9 0.1log0.2 0.447bit / 符号 最佳输入概率分布为输入等概率，即 p(x1) p(x2) =1/2 3、 1） H(x)=H(1/16,1/16,1/16，1/16,1/4,1/2)=2bit
P
S1
2 i 1
P S1
|
Si P Si
2 3
P S1
PS2
有
P S2
2 i 1
P S2
|
Si
PSi
1 3
P S1
P S1 P S2 1
得
P
S1
P
S2
3 4 1 4
(3)该马尔可夫信源的极限熵为：
22
H P Si P S j | Si log P S j | Si i1 j1
信息论与编码习题集答案
一、填空 1、R=C 或信道剩余度为 0 2、2.3138bit/符号 3、小 大 4、大 小 5、175bit/符号 6、概率为独立等概 3bit/符号 7、有效性 可靠性 安全性 经济性 8、1.75bit/符号
m
9、 C log m pij log pij
j 1
10、唯一可译码
24、等概
25、定长 变长
26、信源符号间的相关性
27、无穷大
28、1
29、 m+1
qm
信源符号的统计不均匀性
二、简答
三、计算
1、(1)
Ct
B log2
1
S N
18log2
2048
198kbit
/
s
(2)
RB
max
Ct
H x
,
1
H
x
H
1 16
,
1 16
,
1 8
,
1 4
,
1 2
15 8
R(Dmax ) 0bit / 符号。 函数 R(D) 的图形：
R(D) ln4
D
0
1/4
1/2
3/4
7、解：根据题意有
R
r1 2k
0.7
r2 5k
0.3
，W
w1 1/
0.64
8
w2 1/ 0.36
4
，
p(w1/
r1)
0.8
由 p(w1) p(r1) p(w1/ r1) p(r2) p(w1/ r2) p(w1/ r2) 4 /15 所以 p(w2 / r2) 1 p(w1/ r2) 11/15 得知 5kΩ电阻的功耗为 1/4W，获得的自信息量为 lb( p(w2 / r2)) 0.448bit 8、解：该离散信源的熵为
5.解:
符号概率
编码过程
0.3 0.2
0
0 1
0.15
0.15 0.1
1
0.1
0 1
0 1 0 1
平均码长 K =2.5 码元/符号
H ( X ) p(xi ) log p(xi ) =2.471 bit/符号
I
H (X ) 2.471 =0.9884
K
2.5
6.解：
Dmax
min Dj
H
(2)
H
3 4
,
1 4
0.8113bit
(2) H XY H X H Y 11 2bit 对
H
XZ
H
XH
Z
|
X
1
1 2
H 1,0
1 2
H
1 2
,
1 2
1.5 bit
对
(3) H X | Y H X 1bit
H
Z
|
X
1 2
2
2
可以看出这是一个对称信道，L=4,那么信道容量为