1 0 G 0 0 0 0 0 1 1 0 1 0 0 0 1 1 0 1 0 1 1 1 0 0 1 1 0 1
1 0 1 1 1 0 0 H 1 1 1 0 0 1 0 0 1 1 1 0 0 1
13为提高通信系统传输消息有效性，信源编码采用的方法 是
A.压缩信源的冗余度 C.研究码的生成矩阵 B.在信息比特中适当加入冗余比特 D.对多组信息进行交织处理
14、给定xi条件下随机事件yj所包含的不确定度和条件自信 息量p(yj /xi)，（ ） A．数量上不等，单位不同 B．数量上不等，单位相同 C．数量上相等，单位不同 D．数量上相等，单位相同 15、条件熵和无条件熵的关系是： A．H(Y/X)＜H(Y) B．H(Y/X)＞H(Y) C．H(Y/X)≤H(Y) D．H(Y/X)≥H(Y)
8、对于相同的信息，不同的观察者所获得的信息量可能 不同，指的是信息的（ ） A 可度量性 B 相对性 C 可替代性 D 可共享性 9、信源熵不满足以下哪个性质？（ ） A 确定性 B 非负性 C 连续性 D 可加性 10、二进制通信系统使用符号0和1，由于存在失真，传输 时会产生误码，用符号表示下列事件，u0:一个0发出， u1:一个1发出，v0 :一个0收到，v1:一个1收到。则已知 收到的符号，被告知发出的符号能得到的信息量是 （ ）。 A H(U/V) B H(V/U) C H(U,V) D H(UV)

2,二元对称信道如图。
2）求该信道的信道容量。
x3 x4 x5 x6 x7 X x1 x2 3,.信源空间为 P( X ) 0.2 0.19 0.18 0.17 0.15 0.1 0.01 ，试构造二元霍夫曼码，计算其平均码长和编码效率（要 求有编码过程）。


1,有两个二元随机变量X和Y，它们的联合概率为
Y y1=0 y2=1 X x1=0 1/8 x2=1 3/8
3/8
1/8

定义另一随机变量Z = XY（一般乘积），试计算H(Z)=? 解：Z = XY的概率分布如下：
z 0 z 2 1 Z 1 1 P( Z ) 7 8 8 2 7 1 1 7 H ( Z ) p ( z k ) log log 0.544 bit / symA、维纳 B、香农 C、图灵 D、哈莱特 2、下列不属于消息的是（ ）。 A.文字 B.信号 C.图像 D.语言 3、同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点 数之和为12，则得到的自信息为（ ）。 A. －log36bit B. log36bit C. －log (11/36)bit D. log(11/36)bit 4、下列离散信源，熵最大的是（ ）。 A. H（1/3,1/3,1/3）； B. H（1/2,1/2）； C. H（0.9,0.1）； D. H（1/2,1/4,1/8,1/8)
11、平均互信息量I(X;Y)与信源熵和条件熵之间的关系 是 。 12、互信息I(X;Y)与信息熵H(Y)的关系为：I(X;Y) ___（大 于、小于或者等于）H(Y)。 12、信源的冗余度来自两个方面，一是信源符号之间的 ， 二是信源符号分布的 。 13、已知某线性分组码的最小汉明距离为3，那么这组码最 多能检测出 个码元错误，最多能纠正 个码元错误。 14、设有一个离散无记忆平稳信道，其信道容量为C，只要 待传送的信息传输率R C（大于、小于或者等于）， 则存在一种编码，当输入序列长度n足够大，使译码错误 概率任意小。
信息论与编码习题课
一、填空题
1、设信源X包含4个不同离散消息，当且仅当X中各个消 息出现的概率为___时，信源熵达到最大值，为__，此 时各个消息的自信息量为__。 2、不可能事件的自信息量是___, 必然事件的自信息是 。 3、假设每个消息的发出都是等概率的，四进制脉冲所含 信息量是二进制脉冲的 倍。 4、某离散无记忆信源X，其符号个数为n，则当信源符号 呈 分布情况下，信源熵取最大值___。 5、设信源X包含8个不同离散消息，当且仅当X中各个消 息出现的概率为 时，信源熵达到最大值，为 __。
简答题

1、什么是自信息量？什么是熵？它们之间有什 么联系和区别 2、为什么要进行信源编码和信道编码？ 3、什么是信道容量 4、简述离散信源和连续信源的最大熵定理。 5、简述信源的符号之间的依赖与信源冗余度的 关系。 6、什么是最小码距, 以及它和检错纠错能力之 间的关系。
综合题
11、某一信源，不管它是否输出符号，只要这些符号具有某些概率特 性，就有信息量。 12、循环码的码集中的任何一个码字的循环移位仍是码字。 13、信道容量是信道中能够传输的最小信息量。 14、只要信息传输率大于信道容量，总存在一种信道编译码，可以以 所要求的任意小的误差概率实现可靠的通信. 15、连续信源和离散信源的熵都具有非负性. 16、汉明码是一种线性分组码 17、必然事件和不可能事件的自信息量都是 0 18、当随机变量 和 相互独立时，条件熵 等于信源熵 . 19、概率大的事件自信息量大。 20、互信息量可正、可负亦可为零。
c (c6 c5 c4 c 3 c2 c1 c0 ) (m3 m2 m1 m0 c2 c1 c0 ) 某系统（7，4）码 其三位校验位与信息位的关系为： c2 m3 m1 m0 （1）求对应的生成矩阵和校验矩阵； c1 m3 m2 m1 c m m m （2）计算该码的最小距离； 2 1 0 0
15、设信道输入端的熵为H(X)，输出端的熵为H(Y)，该信 道为无噪有损信道，则该信道的容量为 。 16、在无失真的信源中，信源输出由 来度量； 17、要使通信系统做到传输信息有效、可靠和保密，必须 首先 编码，然后__编码，再___编码，最后送入信道 18、带限AWGN波形信道在平均功率受限条件下信道容量 的基本公式，也就是有名的香农公式是 ； 1 19、已知n＝7的循环码 g(x) x x x ，则信息位长度 k为 ， 校验多项式h(x)= 。 20、平均互信息是输入信源概率分布的 函数;平均互信 息是信道转移概率的 函数,平均互信息的最大值为 。
11、从大量的资料中知道，男性中红绿色盲的发病率为7%， 女性发病率为0.5%，如果问一位男士他是否色盲，他的回 答有可能是“是”，或者“否”，从该男士的回答中得到 平均信息量是
A 0.366bit/sym B 0.414bit/sym C 0.259bit/sym D 0.887bit/sym
12、彩色电视显像管的屏幕上有5×105 个像元，设每个像元 有64种彩色度，每种彩度又有16种不同的亮度层次，如果 所有的彩色品种和亮度层次的组合均以等概率出现，并且 各个组合之间相互独立。每秒传送25帧图像所需要的信道 容量（ ）。 A. 50106 B. 75106 C. 125106 D. 250106
4 2
二、判断题
1.确定性信源的熵H(0,0,0,1)=1。 2.信源X的概率分布为P(X)={1/2, 1/3, 1/6}，对其进行哈夫曼编码得到的码是唯一 的。 3、离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。 4.线性码一定包含全零码。 6.信源X的概率分布为P(X)={1/2, 1/3, 1/6}，信源Y的概率分布为P(Y)={1/3,1/2,1/6}， 则信源X和Y的熵相等。 7.互信息量I(X;Y)表示收到Y后仍对信源X的不确定度。 8.对信源符号X={a1,a2,a3,a4}进行二元信源编码，4个信源符号对应码字的码长分别 为K1=1，K2=2，K3=3，K3=3，满足这种码长组合的码一定是唯一可译码。 10.设C = {000000, 001011, 010110, 011101, 100111, 101100, 110001, 111010}是一个 二元线性分组码，则该码最多能检测出3个随机错误。
5、以下选项中不是香农信息论中主要研究对象的是 A 信息的测度 B 信道容量 C 信息率失真函数 D 信 息的变换 6、以下关于信息量性质描述正确的是（ ）。 A 信息量可以为负 B 信息量是事件发生概率的递增函数 C 某事件为不可能事件，其信息量为0 D 信息量是一个 随机变量 7、当信源符合（ ）时，信源熵最大。 A 均匀分布 B 等概分布 C 泊松分布 D 正态分 布
6、自信息量表征信源中各个符号的不确定度，信源符号 的概率越大，其自信息量越 。 7、对于香农编码、费诺编码和霍夫曼编码，编码方法惟 一的是 编码。 编码方法构造的是最佳码。 8、若一离散无记忆信源的信源熵H（X）等于2.5，对信源 进行等长的无失真二进制编码，则编码长度至少为 。 9、___提高通信的有效性，____目的是提高通信的可靠性， __编码的目的是保证通信的安全性。 10、离散平稳无记忆信源X的N次扩展信源的熵等于离散 信源X的熵的 倍。