重庆邮电大学2007/2008学年2学期
〈〈信息论基础》试卷（期末） （A 卷）（半开卷）
一、填空题（本大题共 10小空，每小空1分，共20分）
1. 按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。
2. 一个八进制信源的最大熵为 3bit/符号
X 2 X 3
1 1
，其信源剩余度为94.64% ;若对该信源进行十次扩展,
4 4
则每十个符号的平均信息量是
15bit 。
4. 若一连续消息通过放大器，该放大器输出的最大瞬间电压为 b ，最小瞬时电压为 a 。
若消息从放大器中输出，则该
信源的绝对熵是 ；其能在每个自由度熵的最大熵是
log （b-a ）bit/自由度；若放大器的最高频率为
F ，则单位时间内
输出的最大信息量是 2Flog （ b-a ） bit/s.
1
5. 若某一信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为
log32 e ；与
其熵相等的非高斯分布信源的功率为
16w
6、 信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
7、 无失真信源编码的平均码长最小理论极限制为信源熵（或 H （S ）/logr= H 「（S ））。
8、 当R=C 或（信道剩余度为0 ）时，信源与信道达到匹配。
9、 根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
10、 在下面空格中选择填入数学符号“
，，，”或“
”
（1 ）当 X 和 Y 相互独立时，H （XY ）=H （X ）+H （X/Y ）。
（2 ）假设信道输入用X 表示，信道输出用 Y 表示。
在无噪有损信道中，H （X/Y ）＞ 0, H （Y/X ）=0,I （X;Y ）＜H （X ）_
、掷两粒骰子，各面出现的概率都是
1/6，计算信息量:
1. 当点数和为3时，该消息包含的信息量是多少？
2.
当点数和为7是，该消息包含的信息量是多少?
X
3.有一信源X ，其概率分布为
P
X 1
3.两个点数中没有一个是1的自信息是多少?
解：1.P （“点数和为 3 ” =P （ 1,2 ） + P （1,2 ） =1/36+1/36=1/18
则该消息包含的信息量是：l=-logP （“点数和为3 ”）=log18=4.17bit
2.
P “点数和为 7” =P （ 1,6）+ P （6,1）+ P （ 5,2）+ P （ 2,5）+ P （3,4）+ P （ 4,3）=1/36 6=1/6
则该消息包含的信息量是：l=-logP （“点数和为7”）=log6=2.585bit
3.
P “两个点数没有一个是1” =1-P （“两个点数中至少有一个是
1”
=1-P （1,1or1,jori,1）=1-（1/36+5/36+5/36）=25/36
则该消息包含的信息量是：l=-logP （“两个点数中没有一个是
1 ”）=log25/36=0.53bit
2
故 H(Z)=
P(Z i )log P(Z i )=1bit/ 符号
i 1
2.从上式可以看出:Y 与X 的联合概率分布为
三、设X 、Y 是两个相互统计独立的二元随机变量，其取
-1或1的概率相等。
定义另一个二元随机变量 乙取Z=YX (
般乘积）。
试计算:
1. H ( Y )、H (Z )；
2. H ( XY )、H (YZ )；
3.I (X;Y )、I (Y;Z )；
2
解: 1. H (Y ) =- P (y ) logP ( y i )
i 1
1lOg1 1b g 1 =1bit/ 符号 2 2 2 2
Q Z=YX 而且X 和Y 相互独立
P(乙=1) =P(Y=1) P(X 1) P(Z 2=-1 ) =P(Y=1) P(X
P(Y 1) P(X 1) P(Y
1)
讨
1) P(X
1)=
H(X|Y)=H(X)=1bit/ 符号
I (X;Y ) =H(X)-H(X|Y)=1-1=0bit/ 符号 l(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=O bit/ 符号
四、如图所示为一个三状态马尔科夫信源的转移概率矩阵
P =
1. 绘制状态转移图；
2. 求该马尔科夫信源的稳态分布;
3.
求极限熵；
解：1.状态转移图如右图
3
2.由公式 p(E j ) P(E i ) P(E j |E i ) ，可得其三个状态的稳态概率为:
i 1
H(YZ)=H(X)+H(Y)=1+1=2bit/
3. Q X 与Y 相互独立，
P(EJ 伯
Pd
P(EJ 1 1
-P (E 1) - P (E 2)
1 1
-P(E 2) -P(E 3) 2 2 1 1 2 P(E 1) ]P(E 3)
P(E 2)P(E 3)1
1
严3)
P(E 1) 3 P(E 2) 7 P(E s ) 2
3.其极限熵:
=7
1+t 1+7「5=现符号
1. 该信道的转移概率矩阵P
2. 信道疑义度H （X|Y ）
3. 该信道的信道容量以及其输入概率分布
解：1.该转移概率矩阵为
0.90.1
P=
0.10.9
2.根据P（XY）=P（Y|X）P（X），可得联合概率
P（XY）Y Y
3 H
（ X|E i） =
y
1 1 2
H（丄,,）+2
2 2 7
H（丄，丄,）+ ? H （丄,,
2 2 7 4 2 4
这时，输入端符号服从等概率分布，即
X P(X)
01 2 2
由 P (X|Y )
H (X|Y )=- P(x i y j )log p(x i |y j ) =0.09+0.12+0.15+0.035=0.4bit/ 符号
i ，j
3. 该信道是对称信道，其容量为：
C=logs-H=log2-H (0.9,0.1 ) =1-0.469=0.531bit/ 符号
X
这时，输入符号服从等概率分布，即
P(X)
试求：该信道的信道容量及其最佳输入概率分布。
解：该信道是准对称信道，分解为两个互不相交的子信道矩阵
0.10 N 1 0.9 N 2 0.1
这里
0 0.1 M 1 0.9 M 2 0.1
C=logr-H(P 的行矢量)
H(0.6, 0.3，0.1) 0.9 log 0.9-0.1 log 0.1
=0.174bit/ 符号
01
2 2
六、某信道的转移矩阵
P
0.6 0.3 0.1 0
0.3 0.6
0 0.1
0.60.3 0.30.6
N K log M K
k 1
七、信源符号 X 有六种字母，概率为 0.32,0.22,0.18,0.16,0.08,0.04 用赫夫曼编码法编成二进制变长码，写出
八、设在平均功率受限的高斯可加波形信道中，信道带宽为 3KHz ，又设信噪比为10
编码过程并计算其平均码长、编码后的信息传输率和编码效率。
解:
码字
00 10 11 010 0110 0111
该信源在编码之前的信源熵为：
6
H (S)
P(X i ) log P (X j ) =0.526+0.481+0.445+0.423+0.292+0.186
i 1
=2.353bit/ 符号
编码后的平均码长：
L (0.32 0.22 0.18) 2 0.16 3 (0.08 0.04) 4=2.4 码元/ 信源符号
编码后的信息传输率为：
H(S) 2.353
R -
0.98bit/
码元
L
2.4
R
H(S)
编码效率为：
0.98
R
max
L log r
1. 试计算该信道传达的最大信息率（单位时间）；
2. 若功率信噪比降为5dB ，要达到相同的最大信息传输率，信道带宽是多少?
解：1. Q SNR 10dB SNR 10
故：该信道传送的最大信息速率为：
C t=Wlog（ 1 + SNR =3 103 log（ 11）
=1.04 104bit/s
2.若SNR=5dB，则SNR= 10=
3.162，在相同C t情况下
4
1.04 10 =Wlog （1+SNR）=Wlog4.162
3
W=5.04 1 03Hz。