设信源1
234567()0.20.190.180.170.150.10.01X a a a a a a a p X ⎡⎤⎧⎫=⎨⎬⎢⎥
⎣⎦⎩⎭
(1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率.
解： (1)
7
21222222()()log ()
0.2log 0.20.19log 0.19
0.18log 0.180.17log 0.170.15log 0.150.1log 0.10.01log 0.012.609/i i i H X p a p a bit symbol
==-=-⨯-⨯-⨯-⨯-⨯-⨯-⨯=∑
(2)
(3)
7
1
()0.230.1930.1830.1730.153
0.140.0173.141
()()/ 2.609 3.14183.1%
i i i K k p x H X H X K R
η===⨯+⨯+⨯+⨯+⨯+⨯+⨯====÷=∑
对习题的信源编二进制费诺码，计算编码效率.
解：
a i p(a i )编码码字k i
a1
0002 a2
1
00103 a310113 a4
1
0102 a5
1
01103 a6
1
011104 a7111114
对信源编二进制和三进制哈夫
曼码，计算各自的平均码长和编码效率.
解：
二进制哈夫曼码：
x i p(x i)编码码字k i s61
s50
s41
s30
s21
x10102 x21112 x300003
x410013 x500103 s11
x6001104 x7101114
三进制哈夫曼码：
x i p(x i)编码码字k i s31
s20
s11
x1221 x20002 x31012 x42022 x50102 x61112 x72122
设信源
(1) 求信源熵H(X)；
(2) 编二进制香农码和二进制费诺码；
(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率；
(4) 编三进制费诺码；
(5) 计算三进制费诺码的平均码长和编码效率；
解：
(1)
(2)
二进制香农码：
x i p(x i)p a(x i)k i码字
x1010
x2210
x33110
x441110
x5511110
x66111110
x771111110
x871111111二进制费诺码：
xi p(x
i)编码码字k i
x1001
x2
10102
x3
101103
x4
1011104
x5
10111105
x6
101111106
x7
1
011111107 x8111111117 (3)
香农编码效率：
费诺编码效率：
(4)
x i p(x i)编码码字k i x1001 x2111 x3
2
0202 x41212
x5
2
02203 x612213 x7
2
022204 x8122214
(5)
设无记忆二进制信源
先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示.
(1) 验证码字的可分离性；
(2) 求对应于一个数字的信源序列的平均长度；
(3) 求对应于一个码字的信源序列的平均长度；
(4) 计算，并计算编码效率；
(5) 若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长，并计算编
码效率.
序列数字二元码字
101000
0111001
00131010
000131011
0000141100
有二元平稳马氏链，已知p(0/0) = ，p(1/1) = ，求它的符号熵.用三个符号合成一个来编写二进制哈夫曼码，求新符号的平均码字长度和编码效率.
对题的信源进行游程编码.若“0”游程长度的截至值为16，“1”游程长度的截至值为8，求编码效率.
选择帧长N= 64
(1) 对00000000000000000000000000000000000000遍L-D码；
(2) 对000000000010遍L-D码再译码；
(3) 对0000000000000000000000000000000000000000000000000000000000000000遍
L-D码；
(4) 对0遍L-D码；
(5) 对上述结果进行讨论.。