(一)一、判断题共10 小题,满分20 分、1、当随机变量与相互独立时,条件熵等于信源熵、( )2、由于构成同一空间得基底不就是唯一得,所以不同得基底或生成矩阵有可能生成同一码集、( )3、一般情况下,用变长编码得到得平均码长比定长编码大得多、( )4、只要信息传输率大于信道容量,总存在一种信道编译码,可以以所要求得任意小得误差概率实现可靠得通信、( )5、各码字得长度符合克拉夫特不等式,就是唯一可译码存在得充分与必要条件、()6、连续信源与离散信源得熵都具有非负性、( )7、信源得消息通过信道传输后得误差或失真越大,信宿收到消息后对信源存在得不确定性就越小,获得得信息量就越小、8、汉明码就是一种线性分组码、( )9、率失真函数得最小值就是、( )10、必然事件与不可能事件得自信息量都就是、( )二、填空题共 6 小题,满分20 分、1、码得检、纠错能力取决于、2、信源编码得目得就是 ;信道编码得目得就是、3、把信息组原封不动地搬到码字前位得码就叫做、4、香农信息论中得三大极限定理就是、、、5、设信道得输入与输出随机序列分别为与,则成立得条件、6、对于香农-费诺编码、原始香农-费诺编码与哈夫曼编码,编码方法惟一得就是、7、某二元信源,其失真矩阵,则该信源得=、三、本题共 4 小题,满分50分、1、某信源发送端有2种符号,;接收端有3种符号,转移概率矩阵为、（1）计算接收端得平均不确定度;（2）计算由于噪声产生得不确定度;（3）计算信道容量以及最佳入口分布、2、一阶马尔可夫信源得状态转移图如右图所示, 信源得符号集为、(1)求信源平稳后得概率分布;(2)求此信源得熵;(3)近似地认为此信源为无记忆时,符号得概率分布为平稳分布、求近似信源得熵并与进行比较、4、设二元线性分组码得生成矩阵为、(1)给出该码得一致校验矩阵,写出所有得陪集首与与之相对应得伴随式;(2)若接收矢量,试计算出其对应得伴随式并按照最小距离译码准则试着对其译码、(二)一、填空题(共15分,每空1分)1、信源编码得主要目得就是 ,信道编码得主要目得就是。

2、信源得剩余度主要来自两个方面,一就是 ,二就是。

3、三进制信源得最小熵为 ,最大熵为。

4、无失真信源编码得平均码长最小理论极限制为。

5、当时,信源与信道达到匹配。

6、根据信道特性就是否随时间变化,信道可以分为与。

7、根据就是否允许失真,信源编码可分为与。

8、若连续信源输出信号得平均功率为,则输出信号幅度得概率密度就是时,信源具有最大熵,其值为值。

9、在下面空格中选择填入数学符号“”或“”(1)当X与Y相互独立时,H(XY) H(X)+H(X/Y) H(Y)+H(X)。

(2)(3)假设信道输入用X表示,信道输出用Y表示。

在无噪有损信道中,H(X/Y) 0,H(Y/X) 0,I(X;Y) H(X)。

三、(16分)已知信源(1)用霍夫曼编码法编成二进制变长码;(6分)(2)计算平均码长;(4分)(3)计算编码信息率;(2分)(4)计算编码后信息传输率;(2分) (5)计算编码效率。

(2分)四、(10分)某信源输出A 、B 、C 、D 、E 五种符号,每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、1/8。

如果符号得码元宽度为0、5。

计算: (1)信息传输速率。

(5分)五、(16分)一个一阶马尔可夫信源,转移概率为。

(1) 画出状态转移图。

(4分) (2) 计算稳态概率。

(4分)(3) 计算马尔可夫信源得极限熵。

(4分) (4) 计算稳态下,及其对应得剩余度。

(4分)六、设有扰信道得传输情况分别如图所示。

试求这种信道得信道容量。

XY七、(16分)设X 、Y 就是两个相互独立得二元随机变量,其取0或1得概率相等。

定义另一个二元随机变量Z=XY(一般乘积)。

试计算 (1) (2) (3) (4) ;八、(10分)设离散无记忆信源得概率空间为,通过干扰信道,信道输出端得接收符号集为,信道传输概率如下图所示。

1x 2x 1y 2y(1) 计算信源中事件包含得自信息量; (2) 计算信源得信息熵; (3) 计算信道疑义度; (4) 计算噪声熵;(5) 计算收到消息后获得得平均互信息量。

《信息论基础》2参考答案一、填空题(共15分,每空1分)1、信源编码得主要目得就是提高有效性,信道编码得主要目得就是提高可靠性。

2、信源得剩余度主要来自两个方面,一就是信源符号间得相关性,二就是信源符号得统计不均匀性。

3、三进制信源得最小熵为0,最大熵为bit/符号。

4、无失真信源编码得平均码长最小理论极限制为信源熵(或H(S)/logr= H r (S))。

5、当R=C 或(信道剩余度为0)时,信源与信道达到匹配。

6、根据信道特性就是否随时间变化,信道可以分为恒参信道与随参信道。

7、根据就是否允许失真,信源编码可分为无失真信源编码与限失真信源编码。

8、若连续信源输出信号得平均功率为,则输出信号幅度得概率密度就是高斯分布或正态分布或时,信源具有最大熵,其值为值。

9、在下面空格中选择填入数学符号“”或“”(1)当X 与Y 相互独立时,H(XY)=H(X)+H(X/Y)=H(Y)+H(X)。

(2)(3)假设信道输入用X 表示,信道输出用Y 表示。

在无噪有损信道中,H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。

三、(16分)已知信源(1)用霍夫曼编码法编成二进制变长码;(6分) (2)计算平均码长;(4分) (3)计算编码信息率;(2分)(4)计算编码后信息传输率;(2分) (5)计算编码效率。

(2分) (1)编码结果为:(2) (3)(4)其中, (5)评分:其她正确得编码方案:1,要求为即时码 2,平均码长最短四、(10分)某信源输出A 、B 、C 、D 、E 五种符号,每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、1/8。

如果符号得码元宽度为0、5。

计算: (1)信息传输速率。

(5分)(1)()61111log 4log 882211log 8log 22231log 2log 2222log 22bit24100.5t H X bitR bpssμ=-⨯-=+=+====⨯五、(16分)一个一阶马尔可夫信源,转移概率为 。

(1) 画出状态转移图。

(4分) (2) 计算稳态概率。

(4分)(3) 计算马尔可夫信源得极限熵。

(4分) (4) 计算稳态下,及其对应得剩余度。

(4分) 解:(1)S13(2)由公式 有 得(3)该马尔可夫信源得极限熵为:()()()2211|log |322311log log433433110.578 1.599240.6810.4720.205i j i j i i j H P S P S S P S S bit nat hart ∞===-=-⨯⨯-⨯⨯=⨯+⨯===∑∑符号符号符号(4)在稳态下:()()213311log log log 0.8114444i i i P x P x bit =⎛⎫=-=-⨯+⨯= ⎪⎝⎭∑符号20.2050.4720.681H H hart nat bit ∞====符号符号符号对应得剩余度为六、设有扰信道得传输情况分别如图所示。

试求这种信道得信道容量。

XY解:信道传输矩阵如下可以瞧出这就是一个对称信道,L=4,那么信道容量为七、(16分)设X 、Y 就是两个相互独立得二元随机变量,其取0或1得概率相等。

定义另一个二元随机变量Z=XY(一般乘积)。

试计算 (1) (2) (3) (4) ;(2)()()()()1111|11,0, 1.52222H XZ H X H Z X H H bit ⎛⎫=+=++= ⎪⎝⎭对(3)(4)八、(10分)设离散无记忆信源得概率空间为,通过干扰信道,信道输出端得接收符号集为,信道传输概率如下图所示。

1x 2x 1y 2y(6) 计算信源中事件包含得自信息量; (7) 计算信源得信息熵; (8) 计算信道疑义度; (9) 计算噪声熵; (10) 计算收到消息后获得得平均互信息量。

解: (1)(2) ()()0.8,0.20.7220.50.217H X H bit nat hart ====符号符号符号 (3)转移概率:()()49/60,11/600.6870.4760.207H Y H bit nat hart ====符号符号符号()()()|0.7170.4970.216H X Y H XY H Y bit nat hart =-===符号()()()|0.6820.4730.205H Y X H XY H X bit nat hart =-===符号符号(5)()()();|0.005040.003490.00152I X Y H X H X Y bit nat hart =-===符号符号符号(三)一、 选择题(共10分,每小题2分)1、有一离散无记忆信源X,其概率空间为,则其无记忆二次扩展信源得熵H(X 2)=( )A 、1、75比特/符号;B 、3、5比特/符号;C 、9比特/符号;D 、18比特/符号。

2、信道转移矩阵为112132425363(/)(/)000000(/)(/)000000(/)(/)P y x P y x P y x P y x P y x P y x ⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦其中两两不相等,则该信道为 3、A 、一一对应得无噪信道B 、具有并归性能得无噪信道C 、对称信道D 、具有扩展性能得无噪信道3、设信道容量为C,下列说法正确得就是:( )A 、互信息量一定不大于CB 、交互熵一定不小于CC 、有效信息量一定不大于CD 、条件熵一定不大于C4、在串联系统中,有效信息量得值( )A 、趋于变大B 、趋于变小C 、不变D 、不确定5、若BSC 信道得差错率为P,则其信道容量为:( ) A 、 B 、 C 、 D 、二、填空题(20分,每空2分)1、(7,4)线性分组码中,接受端收到分组R 得位数为____ ,伴随式S 可能得值有____ 种,差错图案e 得长度为 ,系统生成矩阵G s 为____ 行得矩阵,系统校验矩阵H s 为____ 行得矩阵,G s 与H s 满足得关系式就是 。

2、香农编码中,概率为得信源符号x i 对应得码字C i 得长度K i 应满足不等式 。

3、设有一个信道,其信道矩阵为 ,则它就是 信道(填对称,准对称),其信道容量就是 比特/信道符号。

三、(20分),通过一个干扰信道,接受符号集为,信道转移矩阵为试求(1)H(X),H(Y),H(XY);(7分)(2) H(Y|X),H(X|Y);(5分) (3) I(Y;X)。