信息论复习提纲
第一章绪论
1．通信系统模型；
2．香浓信息的概念；
3．信源、信道、信源编码和信道编码研究的核心问题。

第二章离散信源及信源熵
1．离散信息量、联合信息量、条件信息量、互信息量定义；
2．信源熵、条件熵、联合熵定义；
3．平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）；
4．最大信源熵定理及证明；
5．本章所有讲过的例题；
第三章离散信源的信源编码
1．信息传输速率、编码效率定义；
2．最佳编码定理（即节定理：概率越大，码长越小；概率越小，码长越大）及证明；
3．码组为即时码的充要条件；
4．单义可译定理（Kraft不等式）及应用；
5．费诺编码方法、霍夫曼编码方法应用（二进制，三进制，四进制）；6．本章所有讲过的例题；
第四章离散信道容量
1．利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离
散信道、准对称离散信道）；
2．本章讲过的例题；
第五章连续消息和连续信道
1．相对熵的定义；
2．均匀分布、高斯分布、指数分布的相对熵及证明；
3．峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明；
4．香农公式及意义；
5．本章所有讲过的例题；
第六章差错控制
1．重量、最小重量、汉明距离、最小汉明距离、编码效率的定义；2．最小距离与检错、纠错的关系（即节定理）；
3．本章所有讲过的例题；
第七章线性分组码
1．线性分组码定义；
2．线性分组码的最小距离与最小重量的关系及证明；
3．生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系；
4．制作标准阵列并利用标准阵列译码；
5．本章所有讲过的例题；
第八章循环码
1．生成多项式的特点，有关定理（三定理1，定理2，定理3）及证明；
2． 生成矩阵、一致校验矩阵定义，如何获得生成矩阵、一致校验矩阵的典
型形式；
3．本章所有讲过的例题； 习题：
1.
已知随机变量X 和Y 的联合分布如下：
计算：、I(X;Y)。

2. 具有归并性能的无噪信道的信道矩阵P=⎥⎥⎥⎥
⎥⎥⎦⎤⎢
⎢⎢⎢⎢⎢⎣⎡100
010*********，求其信道容量及达
到信道容量时信源的概率分布。

3. 信道矩阵[P]=⎥
⎦⎤
⎢⎣
⎡8/18/12/14/18/18/14/12/1，计算[P]代表的信道的信道容量。

4. 设二元对称信道的传递矩阵为213
31
23
3⎡⎤
⎢⎥⎢⎥⎢⎥⎣⎦
(1) 若()()(0)34,(1)14,(),,(;)P P H X H X Y H Y X I X Y ==求和；
(2) 求该信道的信道容量及其达到信道容量时的输入概率分布。

5. 设有信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣
⎡1.012.014.014.015.015.02.0(7654321
x x x x x x x X P X ） （1）
对该信源编二进制费诺；
（2） 计算其平均码长。

6. 设有信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣
⎡128/1128/164/132/116/18/14/12/1(87654321
x x x x x x x x X P X ） （1）
对该信源编二进制霍夫曼码，计算其平均码长；
（2） 对该信源编三进制霍夫曼码，计算其平均码长；
（3）对该信源编四进制霍夫曼码，计算其平均码长；
7. 设有一个无记忆信源发出符号A和B，已知p(A) = 1/4, p(B) = 3/4。

（1）计算该信源熵；
（2）该信源改为发出二重符号序列消息的信源，采用费诺编码，求其平均信息传输速率；
（3）该信源改为发三重序列消息的信源，采用霍夫曼编码，求其平均信息传输速率。

8. 设一个[7, 4]码的生成矩阵为
1000111 0100101 0010011 0001110⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦
（1）求出该码的全部码字；（2）求出该码的一致校验矩阵；
(3) 作出该码的标准译码码表。

9. 设二元线性码L的生成矩阵为
11010
01010
⎛⎫
= ⎪
⎝⎭
G，建立码L的标
准阵并且对字11111和10000分别进行译码。

10. 令108542
()1
g x x x x x x x
=++++++是 (15, 5)循环码的生成多项式，写出该码的系统码形式的G和H矩阵标准形式；
11. 给定X的概率密度函数为拉普拉斯分布
+∞
<
<
-∞
=-x
e
x
p x,
2
1
)
(λ
λ
，求
相对熵Hc(X)。

2014年《信息论与编码》研究生考试试题
注：满分100分，所有答案写在答题纸上，该试卷写上名字后交回．姓名：
一．叙述题（5分×4＝20分）
1．写出香农公式，并解释其意义．
2．叙述平均码长界定定理．
3．叙述香农第一定理．
4．分别叙述峰值功率受限和平均功率受限条件下的最大熵定理．二．计算题（共70分）
１．（10分）设信源⎭
⎬⎫⎩⎨⎧=⎥
⎦⎤⎢
⎣⎡17.016.017.018.019.02.0)(654321
x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6，不满足最大熵定理．
2. （10分）利用最大后验概率译码准则，给出译码方案，并计算错误传
输概率E P .
信源的概率空间为⎥⎦
⎤
⎢⎣⎡=⎥⎦⎤⎢⎣⎡414121x x x )X (p X 3
21
，信道矩阵为⎥⎥
⎥⎦
⎤
⎢⎢⎢⎣⎡=2/13/16/16/12/13/13/16/12/1P ．
3．（15分）信源概率空间为⎥⎦
⎤
⎢⎣⎡=⎥⎦⎤⎢⎣⎡04.008.016.018.022.032.06
54321x x x x x x P X ， 分别进行二进制费诺编码，二进制霍夫曼编码和三进制霍夫曼编码．
4．（20分）()3,6 线性分组码的生成矩阵⎥⎥
⎥⎦
⎤
⎢⎢⎢⎣⎡=011100110110011011G ． （1）写出一致校验矩阵． （2）给出所有码字． （3）给出标准阵列表．
（4）如果接收1111001=R ，1000012=R ，0010113=R ，给出译码． 5．（15分）令108542()1g x x x x x x x =++++++是 (15, 5)循环码的生成多
项式，
写出生成矩阵G 和一致校验矩阵H 的标准形式．
三． 证明题（共
10分）
证明：),(k n 线性分组码构成n 维线性空间的k 维子空间．。