当前位置:文档之家› 信息论基础试卷(期末A卷

信息论基础试卷(期末A卷

重庆邮电大学2007/2008学年2学期
《信息论基础》试卷(期末)(A卷)(半开卷)
一、填空题(本大题共10小空,每小空1分,共20分)
1.按信源发出符号所对应的随机变量之间的无统计依赖关系,可将离散信源分为有记忆信源和无记忆信源两大类。

2.一个八进制信源的最大熵为3bit/符号
3.有一信源X,其概率分布为
123
x x x
X
111
P
244
⎛⎫
⎡⎤ ⎪
=
⎢⎥ ⎪
⎣⎦
⎝⎭
,其信源剩余度为94.64%;若对该信源进行十次扩展,
则每十个符号的平均信息量是15bit。

4.若一连续消息通过放大器,该放大器输出的最大瞬间电压为b,最小瞬时电压为a。

若消息从放大器中输出,则该信源的绝对熵是∞;其能在每个自由度熵的最大熵是log(b-a)bit/自由度;若放大器的最高频率为F,则单位时间内输出的最大信息量是2Flog(b-a)bit/s.
5. 若某一信源X,其平均功率受限为16w,其概率密度函数是高斯分布时,差熵的最大值为1
log32e
2
π;与
其熵相等的非高斯分布信源的功率为16w

6、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。

7、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H r(S))。

8、当R=C或(信道剩余度为0)时,信源与信道达到匹配。

9、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。

10、在下面空格中选择填入数学符号“,,,
=≥≤〉”或“〈”
(1)当X和Y相互独立时,H(XY)=H(X)+H(X/Y)。

(2)假设信道输入用X表示,信道输出用Y表示。

在无噪有损信道中,H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。

二、掷两粒骰子,各面出现的概率都是1/6,计算信息量:
1.当点数和为3时,该消息包含的信息量是多少?
2.当点数和为7是,该消息包含的信息量是多少?
3.两个点数中没有一个是1的自信息是多少?
解:1.P (“点数和为3”)=P (1,2)+ P (1,2)=1/36+1/36=1/18 则该消息包含的信息量是:I=-logP (“点数和为3”)=log18=4.17bit
2.P (“点数和为7”)=P (1,6)+ P (6,1)+ P (5,2)+ P (2,5)+ P (3,4)+ P (4,3)=1/36 ⨯6=1/6
则该消息包含的信息量是:I=-logP (“点数和为7”)=log6=2.585bit 3.P (“两个点数没有一个是1”)=1-P (“两个点数中至少有一个是1”) =1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36
则该消息包含的信息量是:I=-logP (“两个点数中没有一个是1”)=log25/36=0.53bit
三、设X 、Y 是两个相互统计独立的二元随机变量,其取-1或1的概率相等。

定义另一个二元随机变量Z ,取Z=YX (一般乘积)。

试计算:
1.H (Y )、H (Z );
2.H (XY )、H (YZ );
3.I (X;Y )、I (Y;Z );
解:1.
2
i 1
1
111H Y P y logP y log log 2222i i =⎡⎤=-+⎢⎥⎣⎦∑()=-()()=1bit/符号
Z=YX 而且X 和Y 相互独立
∴ 1(1)(1)(1)P
P X P Y P X ⋅=+=-⋅=-(Z =1)=P(Y=1)= 111
22222⨯+⨯= 2(1)(1)(1)P P X P Y P X ⋅=-+=-⋅=(Z =-1)=P(Y=1)= 111
22222
⨯+⨯=
故H(Z)=
i 2
i 1(z )log (z )i P P =-∑=1bit/符号
2.从上式可以看出:Y 与X 的联合概率分布为:
H(YZ)=H(X)+H(Y)=1+1=2bit/符

3.X 与Y 相互独立,故
H(X|Y)=H(X)=1bit/符号
∴I (X;Y )=H(X)-H(X|Y)=1-1=0bit/符号 I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/符号
四、如图所示为一个三状态马尔科夫信源的转移概率矩阵
P=11022110221114
2
4⎛⎫ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭
1. 绘制状态转移图;
2. 求该马尔科夫信源的稳态分布;
3.
求极限熵;
解:1.状态转移图如右图
2.由公式
3
1
()()(|)
j i j i i p E P E P E E ==∑,可得其三个状态的稳态概率为:
1123223313123111()()()()22411()()()2211
()()()24()()()1P E P E P E P E P E P E P E P E P E P E P E P E P E ⎧
=++⎪⎪⎪=+⎪⎨
⎪=+⎪⎪⎪++=⎩
1233()7
2()72()7P E P E P E ⎧=⎪⎪⎪
⇒=⎨⎪⎪
=⎪⎩
3.其极限熵:
3
i i 1
3112112111
H = -|E =0+0+72272274243228
=1+1+ 1.5=bit/7777
i P H H H H ∞=⨯⨯⨯⨯⨯⨯∑(E )(X )(,,)(,,)(,,)
符号
五、在干扰离散对称信道上传输符号1和0,已知P (0)=1/4,P(1)=3/4,试求:
1. 该信道的转移概率矩阵P
2. 信道疑义度H (X|Y )
3.
该信道的信道容量以及其输入概率分布 解:1.该转移概率矩阵为
P=
0.90.10.10.9⎡⎤⎢⎥⎣⎦
2.根据P (XY )=P (Y|X )⋅P (X ),可得联合概率
由P (X|Y )=P(X|Y)/P(Y)可得
H(X|Y)=-
i j
i
j
i j
(x y )log x |y =0.09+0.12+0.15+0.035=0.4bit/P P
∑,()符号 3.该信道是对称信道,其容量为:
C=logs-H=log2-H (0.9,0.1)=1-0.469=0.531bit/符号
这时,输入符号服从等概率分布,即0111()22X P X ⎡⎤⎡⎤⎢
⎥=⎢⎥⎢⎥⎣⎦⎣⎦
六、某信道的转移矩阵⎥⎦
⎤⎢⎣⎡=1.006.03.001.03.06.0P
试求:该信道的信道容量及其最佳输入概率分布。

解:该信道是准对称信道,分解为两个互不相交的子信道矩阵
0.60.30.30.6⎡⎤⎢⎥⎣⎦ 0.1000.1⎡⎤
⎢⎥⎣⎦ 这里110.90.9N M == 22
0.10.1N M ==
∴C=logr-H(P 的行矢量)
-
2
k 1
log 1(0.6.3.1)0.9log 0.9-0.1log 0.1K
K N
M H ==--⨯⨯∑,0,0
=0.174bit/符号
这时,输入端符号服从等概率分布,即
()X P X ⎡⎤⎢⎥⎣⎦
=011122⎡⎤
⎢⎥⎢⎥⎣⎦
七、信源符号X 有六种字母,概率为0.32,0.22,0.18,0.16,0.08,0.04。

用赫夫曼编码法编成二进制变长码,写出编码过程并计算其平均码长、编码后的信息传输率和编码效率。

解:
该信源在编码之前的信源熵为:
6
i i 1
()(x )log x i H S P P ==-∑()=0.526+0.481+0.445+0.423+0.292+0.186
=2.353bit/符号
编码后的平均码长:
(0.320.220.18)20.163(0.080.04)4L =++⨯+⨯++⨯=2.4码元/信源符号
编码后的信息传输率为:
() 2.353
0.982.4H S R L
=
==bit/码元
编码效率为:
max ()0.98log R H S R L r
η=
==
八、设在平均功率受限的高斯可加波形信道中,信道带宽为3KHz ,又设信噪比为10
1.试计算该信道传达的最大信息率(单位时间);
2.若功率信噪比降为5dB ,要达到相同的最大信息传输率,信道带宽是多少? 解:1.
10d SNR B = 10SNR ∴=
故:该信道传送的最大信息速率为:
3t 4
=log +log =bit/s
C W ⨯⨯⨯(1SNR )=310(11)1.0410
2.若SNR=5dB ,则
,在相同t C 情况下
1.044
10⨯=Wlog (1+SNR )=Wlog4.162
⇒W=5.04⨯310Hz。

相关主题