《信息论基础》答案
一、填空题（共15分，每空1分） 1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b ，最小瞬时电压为a 。
若消息从放大器中输出，则该信源的绝对熵是 无穷大 ；其能在每个自由度熵的最大熵是 ()log b-a 。
2、高斯白噪声信道是指 信道噪声服从正态分布，且功率谱为常数 。
3、若连续信源的平均功率为5 W ，则最大熵为12log10π ⋅ e ，达到最大值的条件是 高斯信道 。
4、离散信源存在剩余度的原因是 信源有记忆（或输出符号之间存在相关性） 和 不等概 。
5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。
6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。
根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高编码效率。
7、八进制信源的最小熵为 0 ，最大熵为 3 bit 。
8、一个事件发生概率为，则自信息量为 3 bit 。
9、在下面空格中选择填入数字符号“,,,=≥≤>”或“<” ()H XY = ()()+H Y H X Y ≤ ()()+H Y H X
二、判断题（正确打√，错误打×）（共5分，每小题1分）
1) 离散无记忆等概信源的剩余度为0。
（ √ ）
2) 离散无记忆信源N 次扩展源的熵是原信息熵的N 倍 （ √ ） 3) 互信息可正、可负、可为零。
（ √ ）
4) 信源的真正功率P 永远不会大于熵功率P ，即P P ≤
（ × ）
5) 信道容量与信源输出符号的概率分布有关。
（ × ）
三、（5分）已知信源的概率密度函数()p x 如下图所示，求信源的相对熵
0.5
()()()4
2
log 1h x p x p x dx
bit =-=⎰自由度
四、（15分）设一个离散无记忆信源的概率空间为
()120.50.5X a a P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣
⎦⎣⎦ 它们通过干扰信道，信道输出端的接收信号集为[]12=,Y b b ，已知信道出书概率如下图所示。
1
x 2
x 1
y 2
y 0.98
试计算：
（1） 信源X 中事件1x 的自信息量；（3分） （2） 信源X 的信息熵；（3分） （3） 共熵()H XY ;（3分） （4） 噪声熵()H Y X ；（3分）
（5） 收到信息Y 后获得的关于信源X 的平均信息量。
（3分） （1）()11I x bit =
（2）11,1/22H bit ⎛⎫
= ⎪⎝⎭
符号
（3）()()0.490.4 1.432H XY H ==，
0.01，0.1, （4）()()()0.432H X Y H XY H X =-=
（5）
()()()()
()(),,10.59,0.4110.977 1.432
0.545
I X Y H X H Y H X Y H H XY =+-=+-=+-=
五、（10分）一个平均功率受限的连续信道，信道带宽为10MHz ，信道噪声为高斯白噪声。
（1）已知信道上的信号与噪声的平均功率比值为63，计算该信道的信道蓉量。
（2）如果信道带宽降为2MHz ，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少
2log 1S C B N ⎛
⎫=+ ⎪⎝⎭
（1）()6721010log 163610/C bit s =⨯⨯+=⨯
（2）309212110C
B S
N
=-=-=
六、（10分）已知信源共7个符号信息，其概率空间为
()12345670.20.20.20.10.10.10.1S s s s s s s s P S ⎡⎤⎡⎤=⎢⎥⎢⎥⎣
⎦⎣⎦ （1） 试用霍夫曼编码法编成二进制变长码。
（7分） （2） 计算信源熵，平均码长和编码效率。
（9分） （1）
1s 2s 3s 4s 5s 6
s 7s 0.2
0.20.2
0.10.1
0.1
0.1
1
1
1
1
1
1
0.4
0.6
0.2
0.2
0.4
0.1
123456700010011
100101110
111
s s s s s s s =======（7分）
（2）
分）
（3分）
七、（10分）设给定两随机变量1X 和2X ，它们的联合概率密度为
()()
22122
12121,2x x p x x e x x π
-+=
-∞<<+∞
求随机变量12Y X X =+的概率密度函数，并计算变量Y 的熵()h Y 。
已知()12p x x 得 (
)12
1x p x -=
(
)2
2
2x p x -=
（2分）
则()()()1212p x x p x p x = （2分） 所以1x 和2x 独立，所以y 为高斯分布 因为 12y x x =+ 所以 ()()0,2E Y D Y == （2分）
所以 (
)2
4
y
p y -=
（2分）
()()
0.2,0.2,0.2,0.1,0.1,0.1,0.1,2.72
H S H ==__
0.220.83 2.8L =⨯+⨯=码元/信源符号()__0.97H S L η==
所以 ()1log 4/2
h Y e
bit π=自由度 （2）
八、（10分）设某信道的传递矩阵为
1
1
11336611116
633P ⎡⎤⎢⎥=⎢
⎥⎢⎥⎢⎥⎣⎦
计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。
解：s=4
()421111log log 336611111111
2log log log log 0.0817/33336666
C s H p H bit ⎛⎫
=-=- ⎪
⎝⎭=++++=列矢量符号
（2
分）
（2分）
最佳概率分布当输入概率()()121
2
p a p a ==
（2分） 九、（14分）设有一个马尔可夫信源，如果1X 为a 时，2X 为a 、b 、c 的概率为1/3；如果1X 为b 时，2X 为a 、b 、c 的概率为1/3；如果1X 为c 时，2X 为a 、b 的概率为1/2。
而且后面发i X 的概率只与1i X -有关，又()()1213i i P X X P X X i -=≥。
（1）写出转移概率矩阵
（2）计算达到稳定后状态的极限概率。
（3）该马尔可夫信源的极限熵H ∞
解 （1） 1113331
1133311
02
2P ⎡⎤
⎢⎥
⎢⎥
⎢
⎥
=⎢⎥
⎢⎥
⎢⎥
⎢⎥⎣⎦
（4分）
（2） ()()()()()()()()()()()()()()11232123312123111
332
1113321133
1
P E P E P E P E P E P E P E P E P E P E P E P E P E P E =
++=++=+++=
()()()1233814P E P E P E === （3分） （3）
()()
()()()3
2112311111111,,,,,,03333332231
log3log 2 1.439/42
I k i H H P E H a E P E H P E H P E H bit ∞==⎛⎫⎛⎫⎛⎫
=++ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭
=+=∑符号。