2


1
3．设一齐次马氏链 X 1 , X 2 ,... ，各 X i 取值于符号集 {a1 ,a2 ,a3 } ，状态转移概率矩阵为：
1/ 2 1/ 4 1/ 4 2 / 3 0 1/ 3 ，则状态平稳分布为 π1= 2/5 ，π2= 3/10 ；π3= 3/10 ，该马氏链 0 2 / 3 1/ 3
过信道可实现无失真传输。 (3) 将信源的 2 次扩展源进行 Huffman 编码，结果为：
2 次扩展信源符号 00 01 10 11 概 率 0.81 0.09 0.09 0.01 编 0 10 110 111 码
(3 分)
计算每信源符号平均码长为： l (1 0.19 0.10) / 2 0.645 ，编码器每秒输出 符号数为： 3.5 0.645 2.2575 2 ,所以传输不满足失真要求。 将信源的 3 次扩展源进行 Huffman 编码，结果为：
（3）根据高斯信道编码定理，有
(3 分)
R W log 2 (1 SNR ) 29.90 106 W log 2 (1 1000) W 3MHz
所以，信道所需的最小带宽为 3MHz ， 设对应的信号平均功率为 P， SNR P /( N 0W0 ) (3 分)
P SNR N 0W0 1000 108 3 106 30 W
（2）信道达到容量时，其输入总能量的分配遵循什么原理？当这个输入总能量从 0 逐渐 增加时，各子信道被分配到能量的先后顺序如何？如果输入总能量为 6，各子信道被分配 到的能量( Ei，i=1,2,3,4)分别为多少？ (2+2+2 分)
（3）设输入总能量大于 0，当信道达到容量时，各子信道的输入信噪比（SNRi，i=1，2， 3，4）从大到小的顺序如何？(即将各子信道的输入信噪比用＞或≥符号连接起来) (2 分) 答： （1） 达到容量时， 信道输入应该是高斯分布， 各子信道的输入统计独立； （2） 信道达到容量时，其输入总能量的分配遵循注水原理； 各子信道被分配到能量的先后顺序为：信道 2—信道 1—信道 4—信道 3； (2 分) 各子信道被分配到能量分别为: E1=2, E2=3, E3=0, E4=1 （3） 各子信道的输入信噪比从大到小的顺序: SNR2>SNR1≥SNR4≥SNR3 (2 分) (2 分) (1+1 分) (2 分)
1/ 3 1/ 2 1/ 2 1 2 / 3 1
/ 4 (1 ) / 2 和 / 8 (1 ) / 8 ；在联合概率转移矩阵每列选择最大的
元素，形成最佳判决函数为：
G ( y 0) 0, G ( y 1) 0, G ( y 2) 2, G ( y 3) 3 ，
1 2
e

( x m )2 2 2
, 则 h(2 X 3) = (1/2)log(8πeσ ) ；
2
若 Y 为任意满足 E (Y ) m,Var (Y ) 2 的连续随机变量，且log p( x)dx = (1/2)log(2πeσ ) ；
的符号熵为 (2/5)H(1/2,1/4,1/4)+ (3/5)H(1/3)=1.151 比特/符号。 4．设试验信道输入与输出符号集均为 {1, 2,3, 4} ，输入概率分别为 1/2，1/4，1/8，1/8，失 真测度为 d(i, j)= (i - j)2 ,1 i, j 4 ； 则 Dmin 0 ， Dmax 9/8=1.125 。
0 1 ， 1
0 1 0 1 H ( ) ， 1 2
解得，
(2 分)
0 1 2 H ( ) /
(2 分)
信道容量： 或

计 算 每 信 源 符 号 平 均 码 长 为 ： l 0.5327 ， 编 码 器 每 秒 输 出 符 号 数 为 ： (5 分) 3.5 0.5327 1.8644 2 ,所以传输满足不失真要求。 由于这种编码所得是变长码，因此在编码器与信道之间应设置缓冲器。 (2 分)
六、计算题（16 分）
pZ (1) , (0 1) ，信道输出 Y = XZ ；求
5
（1） 信道的转移概率矩阵； （2） 信道容量。 解 （1）
(6 分) (6 分)
p ( y | x) p ( yz | x) p ( z | x) p ( y | zx)
z z
z: y xz

p(3) 1/ 8 。求：最佳译码准则的判决函数和平均译码错误率。
解：
(8+4 分)
信道输入符号不等概率，最佳译码准则为最大后验概率(MAP)准则，写出信道 的联合概率转移矩阵为：
0
1
2
3
(4 分)
0 (1 ) / 2 0 0 /2 1 / 4 (1 ) / 4 0 0 P 2 0 0 (1 ) / 8 /8 3 0 0 (1 ) / 8 /8
(2+1 分) (3 分)
（3）求为实现电视信号可靠传输信道所需的最小带宽和对应的信号平均功率； (3+2 分) （4）求信息传输速率达到容量时的频谱利用率和对应的 Eb / N 0 (dB ) 。 解 信噪比换算： SNR 10
SNR[ dB ]/10
(3+2 分)
1030/10 1000
四、计算题 (12 分)
设一个离散无记忆信道的输入、输出符号集均为 {0,1, 2,3} ，信道的概率转移矩阵为
2
0
1
2
3
0 1 0 0 1 1 0 0 P 2 0 0 1 3 0 0 1
其中， 1/ 3 1/ 2 。 设输入符号的概率分别为 p (0) 1/ 2, p (1) 1/ 4 , p (2) 1/ 8 ,
三、简答题（10 分）
4
某并联高斯噪声信道由 4 个独立子信道组成， 子信道方 差如右图所示，其中 1、2、3、4 子信道的方差分别为 2、1、 4、3； （1）达到容量时，信道输入应该是何种分布？各子信道的 输入是否统计独立？ (1+1 分)
3 2 1
32
2 1
42
22
并联高斯噪声信道的示意图
C log 2 (1 2 H
( ) /
3
(1) 信源符号速率 3.5 大于信道传输速率 2，所以信源直接与信道相接，不能保证无失 真传输。 (3 分) (2) 采用适当的编码方式可以通过信道进行无失真传输。 (2 分) H ( X ) H (0.1) 0.1 log 0.1 0.9 log 0.9 0.469 比特/符号 信源熵率为 H (b / s ) H ( X ) 3.5 1.6415 b / s ，二元无噪信道容量为 C (b / s ) 2 b / s 。 因为 H (b / s) C (b / s) ，所以根据信源信道编码定理可知，采用适当的编码方式然后通
300000
（1） 每幅画面所含信息量： H log 2 10 信息传输速率：
9.97 105 bit
(2 分)
R 30 H 30 log 2 10300000 29.90 Mbps
（2） AWGN 信道容量：
(1 分)
C W log 2 (1 SNR) 6 106 log 2 (1 1000) 59.80 Mbps
北京邮电大学 2010——2011 学年第 一 学期
《信息论》期末考试试题（A 卷）标准答案
姓名 班级 学号 分数
注：所有答案均写在答题纸上，试卷和答题纸一起上交。
一、判断题（正确打√，错误打×） （共 10 分，每小题 1 分）
（1） 输出符号等概率的信源的剩余度为零。 （2） 总存在一种有损信源编码，使得当码率 R ≥ R（D）时，平均失真 小于等于 D ； （3） 平均互信息 I(X;Y)不大于条件平均互信息 I(X;Y|Z)； （4） 差熵为零的连续信源的平均不确定性为零； （5） 级联信道的容量不大于构成该级联信道的任意一个信道的容量； （6） 对于有限状态马氏链，无论初始状态概率分布如何，最终总会达到 状态的平稳分布； （7） 两独立随机变量和的熵功率不小于这两个随机变量熵功率的和； （8） 在信息处理过程中，处理的次数越多得到的信息量也就越大； （9） 离散信源经过一一对应的变换后熵不变； （10） 随着信源序列长度的增加，非典型序列的出现的概率趋近于零。 (×) (√) (×) (√) (√) (√) (×) (×) (√) (×)
个二元一一对应信道传输，且每秒只传送两个符号； (1) 若要求信息无失真传输，信源能否不进行编码而直接与信道相接？ (3 分) (2) 能否采用适当的编码方式然后通过信道进行无失真传输？为什么？ (2+3 分) (3) 确定一种编码方式并进行编码，使得传输满足不失真要求；同时请说明信源采用这 种编码后， 编码器输出与信道输入之间应设置何种装置？ (10+2 分) 解
（4）所求频谱利用率
(2 分)
R / W log 2 (1 SNR) log 2 (1 1000) 9.97 bps / Hz
Eb / N 0 2 1
(3 分)

100.49 20.02 dB
(2 分)
七、计算题（12 分）
一个离散无记忆二元乘性信道输入为 X，其中 Z 独立于 X；X、Z 取值均为 0 或 1，且
一黑白电视画面由 3 10 个像素组成， 其中每个像素独立等概率地选取 10 个不同的灰
5