重庆邮电大学2007/2008学年2学期《信息论基础》试卷（期末）（B 卷）（半开卷）一、填空题（共20分，每空1分）1、通信系统中，编码的主要目的有两个，分别是 和 。

2、离散无记忆信源存在剩余度的原因是 。

3、当 时，信源熵为最大值。

八进制信源的最大熵为 ，最小熵为 。

4、无失真信源编码的平均码长最小理论极限制为 。

5、一个事件发生概率为0.125，则自相关量为 。

6、根据信原输出随机序列中随机变量前后之间有无统计依赖性，信原可以分为 和 。

7、噪声瞬时值的概率密度函数服从 分布，同时功率谱密度为 的噪声称为高斯白噪声。

8、当 时，信源与信道达到匹配。

9、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正 态分布或 时，信源具有最大熵，其值为值 。

9、在下面空格中选择填入数学符号“,,,=≥≤>”或“〈” （1）H(XY) H(Y)+H(X|Y) H(Y)+H(X)（2）假设信道输入用X 表示，信道输出用Y 表示。

在有噪无损信道中， H(X/Y) 0, H(Y/X) 0, I(X;Y) H(X)。

二、（6分）若连续信源输出的幅度被限定在【1,3】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

三、（16分）已知信源12345S P 0.250.20.20.20.15s s s s s ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（4分） （2）计算平均码长—L ；（4分）（3）计算编码信息率R '；（4分）（4）计算编码后信息传输率R ；（2分）（5）计算编码效率η。

（2分）四、（12分）已知一个平均功率受限的连续信号，通过带宽W 10MHz =的高斯白噪声信道，试计算（1）若信噪比为10，信道容量为多少？（4分）（2）若信道容量不变，信噪比降为5，信道带宽为多少？（4分）（3）若信道通频带减为5MHz 时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多少？（4分）五、（16分）某个信息源发出符号的概率为：12()(),P a P a =3()0.4,P a =假设该信息源发出的符号前后有关联，其依赖关系为：112122321333312133(|);(|);(|);(|);(|);(|);443344P a a P a a P a a P a a P a a P a a ======（1） 画出状态转移图（4分） （2） 计算稳态概率（4分）（3） 计算信源的极限熵（4分）（4） 计算稳态下H1，H2及其对应的剩余度。

（4分）六、（8分）同时掷两个正常的股子，也就是各面呈现的概率都是16，计算（1）“3和4同时出现”事件的自信息量；（2分）（2）两个点数中至少有一个是1的自信息；（2分） （3）两个点数中之和为3的自信息；（2分） （4）两个点数的各种组合（无序对）的熵。

（2分）七、（22分）设离散无记忆信源的概率空间为120.750.75X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，通过二进制对称信道，其概率转移矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦，信道输出端的接受符号集为12[]Y y y =（1）计算信源熵()H X ；（4分） （2）损失熵(|)H X Y ；（4分） （3）噪声熵(|)H Y X ；（4分）（4）受到消息Y 后获得的平均互信息量(:)I Y X （4分） （5）该信道的信道容量（4分）（6）说明该信道达到信道容量时的输入概率分布。

（2分）《信息论基础》试卷答案一、填空题（共20分，每空1分）1、通信系统中，编码的主要目的有两个，分别是提高有效性和可靠性。

2、离散无记忆信源存在剩余度的原因是分布不等概。

3、当信源各符号无相关性、等概分布时，信源熵为最大值。

八进制信源的最大熵为3/bit 符号，最小熵为0/bit 符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。

5、一个事件发生概率为0.125，则自相关量为3bit 。

6、根据信原输出随机序列中随机变量前后之间有无统计依赖性，信原可以分为有记忆信源和无记忆信源。

7、噪声瞬时值的概率密度函数服从高斯分布，同时功率谱密度为均匀分布的噪声称为高斯白噪声。

8、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。

9、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正22x -21log 22e πσ。

9,,,=≥≤>”或“〈”（1）()H XY =H(Y)+H(X|Y)H(Y)+H(X)≤（2）假设信道输入用X 表示，信道输出用Y 表示。

在有噪无损信道中， H(X/Y)= 0, H(Y/X)>0,I(X;Y)=H(X)。

二、（6分）若连续信源输出的幅度被限定在【1,3】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

解：该信源的相对熵：()h(X)=log b-a log(31)1bit =-= 绝对熵为+∞ 三、（16分）已知信源12345S P 0.250.20.20.20.15s s s s s ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（4分） （2）计算平均码长—L ；（4分）（3）计算编码信息率R '；（4分）（4）计算编码后信息传输率R ；（2分） （5）计算编码效率η。

（2分）解：（1）霍夫曼编码后的二进制变长码：S1：10， S2：00， S3：00， S4：110， S5：111，S1 0.25S2 0.2S3 0.2S4 0.2S5 0.151.00.40.351100.61（2）平均码长：I=0.35*3+0.65*2=2.35码元/符号； （3）编码信息率：R '=—L *logr=2.35*1=2.35 bit/信源符号 （4）编码后信息传输率：111110.25log 0.2log 0.2log 0.2log 0.15log H(s)0.250.20.20.20.15R=2.35L0.50.6*2.3220.15*2.7370.982.35++++=+==—（5）编码效率：η =H(s)L—=98%四、（12分）已知一个平均功率受限的连续信号，通过带宽W 10MHz =的高斯白噪声信道，试计算（1）若信噪比为10，信道容量为多少？（4分）（2）若信道容量不变，信噪比降为5，信道带宽为多少？（4分）（3）若信道通频带减为5MHz 时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多少？（4分） 解： （1）根据香农公式：()()67Wlog 1SNR 1010log 110 3.4610C =+=⨯⨯+=⨯（2）当SNR 5=，()()7Wlog 1SNR Wlog 15 3.4610C =+=+=⨯则 773.4610W 1.33810Hz 2.585⨯==⨯ （3）当带宽减为5MHz ，()()67Wlog 1SNR 510log 1SNR 3.4610+=⨯⨯+=⨯SNR =120五、（16分）某个信息源发出符号的概率为：12()(),P a P a =3()0.4,P a =假设该信息源发出的符号前后有关联，其依赖关系为：112122321333312133(|);(|);(|);(|);(|);(|);443344P a a P a a P a a P a a P a a P a a ======（5） 画出状态转移图（4分） （6） 计算稳态概率（4分）（7） 计算信源的极限熵（4分）（8） 计算稳态下H1，H2及其对应的剩余度。

（4分） 解：（1）1 0.25 S2 0.2S3 0.2S4 0.2S5 0.151.00.40.35110.61（2）由3113221123323123()()(|)31()()()4421()()()()()()13413()()()344()113()114()11i i i iiP E P E P E EP a P a P aP a P a P a P a P a P aP a P a P aP aP aP a=⋅⎧=+⎪⎪⎪=+++=⎨⎪⎪=+⎪⎩===∑得另：联立得：（3）该信源的极限熵：332()(|)log(|)431321413***bit/114411331144i i i i ii iH H P E P E E P E EH H H∞==-⋅⋅⋅=∑∑（，）+（，）+（，）=0.839 符号3121(4) H()log() 1.572/H0.839/H0.008HH20.47Hi iiP a P a bitbitηη=-⋅====∑12符号符号对应的剩余度：=1-=1-六、（8分）同时掷两个正常的股子，也就是各面呈现的概率都是16，计算（1）“3和4同时出现”事件的自信息量；（2分） （2）两个点数中至少有一个是1的自信息；（2分） （3）两个点数中之和为3的自信息；（2分） （4）两个点数的各种组合（无序对）的熵。

（2分） 解：（1）P （3和4同时出现）=1123618⨯= 1log4.169918I bit ∴=-= （2）P （1,1 or1,j or i,1）=1551136363636++=11log 1.710536I bit ∴=-=(3) P （1,2 or2,1）=1123618⨯=1log 4.169918I bit ∴=-=(4) 相同点出现的概率为136，共6种组合不同点出现的概率为118，共15种组合其熵为：116log3615log18 4.34/3618H bit =⨯⨯+⨯⨯=事件七、（22分）设离散无记忆信源的概率空间为120.750.75X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，通过二进制对称信道，其概率转移矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦，信道输出端的接受符号集为12[]Y y y =（1）计算信源熵()H X ；（4分） （2）损失熵(|)H X Y ；（4分） （3）噪声熵(|)H Y X ；（4分）（4）受到消息Y 后获得的平均互信息量(:)I Y X （4分） （5）该信道的信道容量（4分）（6）说明该信道达到信道容量时的输入概率分布。

（2分） 解（1）()(0.75,0.25)0.811/H X H bit ==符号；2211111121221(2) (|Y)(,)log (|)217()()(|)()(|)0.75*0.25*331275()1()1121275()(,)0.98bit/1212(|X)(x )(|)log (|)0.918/(i i i i i j i j i j i iiH X P x y P x y P y P x P x y P x P y x P y P y H Y H H Y P P y x P y x bit H ===-⋅=⋅+⋅=+==-=-====-⋅⋅⋅=∑∑∑∑符号符号2112XY)(X)(|X) 1.729/(|Y)(XY)()0.749/DMC C=log log 0.0821(x )(x )2ij i j j H H Y bit H X H H Y bit P P P P ==-==-=====∑2符号符号(4)I(X:Y)=H(x)-H(X|Y)=0.062bit/符号（5）该信道为对称信道，故bit/符号(6)这时的输入信号概率分布为：。