信息论与编码期末考试题
（一）
一、判断题.
1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(X
H . （）
2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （）
3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （）
4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （）
5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （）
6. 连续信源和离散信源的熵都具有非负性. （）
7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确
定性就越小，获得的信息量就越小.
8. 汉明码是一种线性分组码. （）
9. 率失真函数的最小值是0. （）
10.必然事件和不可能事件的自信息量都是0. （）
二、填空题
1、码的检、纠错能力取决于 .
2、信源编码的目的是；信道编码的目的是 .
3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .
4、香农信息论中的三大极限定理是、、 .
5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的
条件 ..
6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .
7、某二元信源01()1/21/2X P X =
，其失真矩阵00a D a ??=，则该信源的max D = . 三、计算题.
1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为
1/21/201/21/41/4P ??=
. （1）计算接收端的平均不确定度()H Y ；
（2）计算由于噪声产生的不确定度(|)H Y X ；
（3）计算信道容量以及最佳入口分布.
（二）
一、填空题
1、信源编码的主要目的是，信道编码的主要目的是。
2、信源的剩余度主要来自两个方面，一是，二是。
3、三进制信源的最小熵为，最大熵为。
4、无失真信源编码的平均码长最小理论极限制为。
5、当时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为和。
7、根据是否允许失真，信源编码可分为和。
8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是时，信源具有最大熵，其值为值。
9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?”
（1）当X 和Y 相互独立时，H （XY ） H(X)+H(X/Y) H(Y)+H(X)。
《信息论基础》参考答案
一、填空题
1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为32log bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或
H(S)/logr= H r (S)）。
5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
具有最大熵，其值为值21log 22
e πσ。
9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?”
（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）()()1222H X X H X =≥()()12333
H X X X H X =
(三)
一、选择题
1、有一离散无记忆信源X ，其概率空间为??
=125.0125.025.05.04321x x x x P X ，则其无记忆二次扩展信源的熵H(X 2)=( )
A 、1.75比特/符号；
B 、3.5比特/符号；
C 、9比特/符号；
D 、18比特/符号。
2、信道转移矩阵为112132425363(/)(/)000000(/)(/)000000(/)(/)P y x P y x P y x P y x P y x P y x
，其中(/)j i P y x 两两不相等，则
该信道为
A 、一一对应的无噪信道
B 、具有并归性能的无噪信道
C 、对称信道
D 、具有扩展性能的无噪信道
3、设信道容量为C ，下列说法正确的是：（）
A 、互信息量一定不大于C
B 、交互熵一定不小于C
C 、有效信息量一定不大于C
D 、条件熵一定不大于C
4、在串联系统中，有效信息量的值（）
A 、趋于变大
B 、趋于变小
C 、不变
D 、不确定
5、若BSC 信道的差错率为P ，则其信道容量为：（）
A 、 ()H p
B 、
()12log 1p p p p -??- C 、 ()1H p -
D 、log()P P -
二、填空题
1、(7,4)线性分组码中，接受端收到分组R 的位数为____ ，伴随式S 可能的值有____ 种,差错图案e 的长度为，系统生成矩阵G s 为____ 行的矩阵，系统校验矩阵H s 为____ 行的矩阵，G s 和H s 满足的关系式是。
2、一张1024×512像素的16位彩色BMP 图像能包含的最大信息量为。
3、香农编码中,概率为()i P x 的信源符号x i 对应的码字C i 的长度K i 应满足不等式。
3、设有一个信道，其信道矩阵为0.250.50.250.250.250.50.50.250.25
，则它是信道（填对称，准对称），其信道容量是比特/信道符号。
三、12()0.50.5X x x P X =
，通过一个干扰信道，接受符号集为{}12Y y y =，信道转移矩阵
为13443144
试求（1）H(X),H(Y),H(XY);
(2) H(Y|X),H(X|Y);
(3) I(Y;X)。
(4)该信道的容量C
（5）当平均互信息量达到信道容量时，接收端Y 的熵H （Y ）。
计算结果保留小数点后2位,单位为比特/符号。
(四)
四、简答题
简单介绍哈夫曼编码的步骤
（五）
一、填空题
（1）1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X 的熵的。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__ _。
（5）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是。
（6）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出______个码元错误，最多能纠正___个码元错误。
（7）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__ __C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（8）平均错误概率不仅与信道本身的统计特性有关，还与___ __________和___ ___有关
二、判断题
（1）信息就是一种消息。
（）
（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（）
（3）概率大的事件自信息量大。
（）
（4）互信息量可正、可负亦可为零。
（）
（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（）
（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。
（）
（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
（）
（8）信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。
（）
（9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( )
（六）
一、概念简答题
2.简述最大离散熵定理。
对于一个有m个符号的离散信源，其最大熵是多少
答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
最大熵值为
解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？.答：信息传输率R指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。
6.解释无失真变长信源编码定理。
6.只要，当N足够长时，一定存在一种无失真编码。