①确定
σ12
，
σ
2 2
和
P
的关系；
②写出信道容量表达式；
(3+3+3=9 分)
③写出达到容量时信道的输入概率密度 p(x1, x2 ) ； 解：
(1) E[x12 ] = 0 ，则
(3+3=6 分)
①
σ
2 1
≥
σ
2 2
+
P
，
②
C
=
1 2
log(1 +
P σ 22
)
，
(2) E[x22 ] > 0 ，则
从零均值的高斯分布，且相互独立，方差分别为 σ12
和σ22
，且 σ12
>
σ
2 2
，信道输
入均值为零, E x12 + x22 ≤ P ；
(1) 当达到信道容量时， E[x12 ] = 0 ；
(3+3=6 分)
①确定σ12 ，σ 22 和 P 的关系；
②写出信道容量表达式；
(2) 当达到信道容量时， E[x22 ] > 0 ；
平均译码错误率： pE1 = ω / 2 + ω / 2 = ω 。 (2) 信道的概率转移矩阵为：
0 21
P2
=
01− 1 0
p
p 0 p 1− p
(2+2=4 分)
判决函数：
G( y = 0) = 0,G( y = 1) = 1,G( y = 2) = 0 或
G( y = 0) = 0,G( y = 1) = 1, G( y = 2) = 1， 平均译码错误率： pE2 = p / 2 。 (3) 串联信道的概率转移矩阵为：
容量时的最佳输入概率分布是等概率分布，即 p(x) = 1/11, x = 0,1,L,10 。
(3+3=6 分)
五、计算题(18 分)
二元等概信源的符号集为 {0,1} ，
(1) 通过错误概率为ω, 0 ≤ ω ≤ 1/ 2 的二元对称信道，求最佳译码准则的判决
函数和平均译码错误率；
(2+2=4 分)
大；
(×)
(3) 码长满足 Kraft 不等式的码是异前置码；
(×)
(4) 齐次马氏链所产生的序列是平稳的；
(×)
(5) 信源的条件熵不大于其无条件熵；
(√)
(6) 连续随机变量集合之间的平均互信息总是有限值；
(×)
(7) 互信息是非负的；
(×)
(8) 离散无记忆信道达到容量时信道输出概率分布是唯一的；
(2 分)
7
R(D)
|D=1/2 =
log
(n
n −1)1/2
−
H (1/
2)
=
log2 16
− (1/
2) log2 (16
−1)
− log2
2
= 1.0466比特
8
(2 分)
(3) 写出香农第三定理中存在平均失真不大于 D 的信源编码充要条件；
(2 分)
答：
(1) R ≥ H 或 R > H ；
(2 分)
(2) (1 / N )× log2 M ≤ C 或 (1 / N )× log2 M < C ；
(2 分)
(3) R ≥ R(D) 或 R > R(D) 。
(√)
(9) 在信息处理过程中熵不会增加；
(√)
(10) 非奇异的定长码是唯一可译码。
(√)
二、填空题(共 21 分,每空 3 分)
(1) AWGN 信道的带宽为 250kHz，噪声的双边功率谱密度为 N0 / 2 = 0.5×10−8
W / Hz ，信号与噪声的功率比为 63，则信号功率是
0.1575W ，
0 M
1 M
a16 0 0 L 0 1
压缩符号与恢复符号与之间的转移概率矩阵：
(2+2+2=6 分)
6
a1 a2 L a7 a8 L a16
b1 1 0 L
b
2
0
1
L
M M M L
b7
0
0
L
b8 0 0 L
0 0 L 0
0
0
L
0
M M L M
1
0
L
0
0 1/ 9 L 1/ 9
信源符号与恢复符号之间的转移概率矩阵：
L
0
1/ 3 1/ 3
9 1/ 3 1/ 3 0 0 10 1/ 3 1/ 3 1/ 3 0
0L0 0L 0
0 1/ 3 0 0
(2) 该信道是对称信道。
(3 分)
(3) C = log11− H (1/ 3,1/ 3,1/ 3) = log11− log 3 ≈ 1.8745 比特/符号，达到信道
0 1 2 3 4 L 8 9 10
0 0 1/ 3 1/ 3 1/ 3 0 L 0 0 0
1
0
0 1/ 3 1/ 3 1/3 L 0
0
0
2 0 0 0 1/ 3 1/3 L 0 0 0
P=
M
M
LM
；
7 0 0 0 0 0 L 1/ 3 1/ 3 1/ 3
8 1/ 3 0
0
0
0
4
(4) 按照题意，需要求信道疑义度的上界，代入费诺不等式得： H ( X | Y ) ≤ H (PE3 ) + PE3 log(r −1) = H (ω(1− p) + p / 2) 。
六、计算题(15 分)
(3 分)
已知有两个子信道的并联高斯信道，yi = x i +zi ，i = 1, 2 ，加性噪声 z1 和 z2 服
pE3 = ω(1− p) / 2 + ω(1− p) / 2 + p / 2 = ω(1− p) + p / 2 。 pE3 = ω(1− p) + p / 2 = ω + (1/ 2 − ω) p ≥ ω = pE1 ， pE3 = ω(1− p) + p / 2 ≥ p / 2 = pE2 。 结论：信道串联使得平均译码错误率增加(不减)。
1−ω
1− p
1−ω
1− p
p ω ω
p
p ω ω
p
1−ω
1− p
1−ω
1− p
3
解：
信源等概，因此最佳译码准则为最大似然 (ML)准则。
(1) 信道的概率转移矩阵为：
01
P1
=
0 1− ω 1 ω
ω 1− ω
(2+2=4 分)
判决函数为： G( y = 0) = 0,G( y = 1) = 1 ，
a8 a16 中的任何一个；采用汉明失真测度；
(1) 求信源符号与恢复符号之间的转移概率矩阵；
(6 分)
(2) 求信源编码器的码率；
(5 分)
(3) 求信源编码的平均失真；
(2 分)
(4) 已知在汉明失真测度下，包含 n 个符号的离散无记忆等概率信源的
R(D) 函数表达式为：
(2 分)
R(
D)
=
log
(2 分)
四、计算题(15 分)
某离散无记忆信道Y = X + Z (mod11) ，其中 Z 的概率分布为
Z
=
1 1 3
2 13
3 1 3
，
X
∈{0,1,⋅⋅⋅,10} 。
Z
与
X
相互独立。求：
(1) 该信道的转移概率矩阵； (2) 该信道是否为离散对称信道？ (3) 该信道的容量及达到容量时的输入概率分布。 解：
(3+3+3=9 分)
①
0
<
σ
2 1
−σ
2 2
<
P
，
②令
E[x12 ]
=
P1
，
E[x22 ]
=
P2
，则
P1
+
P2
=
P
，
P1
+
σ
2 1
=
P2
+ σ 22 ，解得：
( ) ( ) P1 =
P−
σ12 − σ 22 2
， P2
P+ =
σ
2 1
−σ
2 2
2
，信道容量为：
( ) ( ) C
=
1 2
log
1 +
P−
σ
2 1
−σ22
2σ
2 1
+
1 2
log
1
+
P
+
σ
2 1
−
σ
2 2
2σ
2 2
，
③
p(x1, x2 ) = 2π
[P
−
(σ12
1
−
σ
2 2
)][
P
+
(σ12
−
σ
2 2
)]
exp[−( P
−
x12
(σ
2 1−σ Nhomakorabea2 2
)
+
P
+
x22
(σ
2 1
−
σ
2 2
)
)]
5
七、计算题(15 分)
一个 16 个符号离散等概率信源，符号集为{ai, i = 1,L,16} 。先将信源进行压
(6 分) (3 分) (3+3=6 分)
(1) 由离散无记忆信道Y = X + Z (mod11) 可见，输入为 X ，输出为Y ，信道