信息论与编码基础知识点
（仅供复习参考，不作为出卷依据）
1．当代文明的三大科学支柱
2．信息论发展的过程
3．信息论的奠基人,代表作?
4．信息理论中度量信息的基本观点
5．一个通信系统中常用的编码有哪些?其目标是什么？6．信源符号自信息量的含义与计算
7．信源符号间互信息量与平均互信息量的三个含义(对应公式)
8．信源熵的三种物理含义。

9．离散信源的联合熵、条件熵、平均互信息量的含义及相互之间的关系。

10．平均互信息量的三种物理含义、性质及相应的公式，与信道容量、信息率失真函数的关系
11．信源的平稳性和无记忆性的含义
12．离散无记忆信源的信源熵、N次扩展的信源熵计算。

N 阶马尔科夫信源的定义
14．低阶（1、2）马尔科夫信源的状态转移图、各状态的稳态分布概率(状态极限概率)、极限熵H∞=H n+1
15．信道容量的含义
16．常见信道（无噪信道、强对称、对称、准对称）容量的计算，达到信道容量时对应信源的概率分布情况。

17．二进制香农编码、费诺编码、哈夫曼编码方法及步骤，其编码效率的计算
18．信息率失真函数的含义
19．D max的含义
20．二、三元离散信源的R max R min D min、D max计算，及等概
率信源分布信息率失真函数R(D)的计算
21．在信道编码中检错与纠错的含意是什么？
22．最小码距?最小码距与检错、纠错的能力关系
理解相关基本概念（定理、性质）多练习课后习题（作业和讲解）。