香农信息论最初是为了解决通信问题而提出的。 通信的重要意义是勿庸置疑的。
人类传递思想、表达情感，就需要相互交流。 人类的劳动、生产、政治、文化、日常生活等都离不 开通信。 人类利用眼、耳、鼻、舌、身等五种感觉器官来感受 外界的信息，形成一个信息流通的体系。 通信方式的不断提高，代表了人类文明和科技水平的 不断提高。
2020/5/28
信源
信道
信宿
信源 编码
信道 编码
信道 译码
信源 译码
加密
干扰源
解密
加密钥
解密钥
2020/5/28
提出的背景： 在香农信息论出现以前，没有系统的通信理论。
是香农，开创了信息论的研究，奠定了一般性通信 理论的基础。对数字通信技术的形成有很大贡献。
（不论什么样的干扰信道，抓住了本质问题。）
* Roman 《Coding and information theory》, GTM 134，
新的教材： 在广义信息论、网络信息论方面的内容有所增加。
2020/5/28
第一讲 信息熵
1-1 信息论的主要内容 1-2 信息的度量－信息熵 1-3 信息熵的性质
2020/5/28
1－1. 信息论的主要内容
2020/5/28
( Shannon, 1916－2019)
“ A Mathematical Theory of Communication ” “ Communication Theory of Secrecy System ”
2020/5/28
About Claude Elwood Shannon:
2020/5/28
通信的根本任务：将一地点的消息可靠地、有效地 传送到另一地点。
通信系统的基本模型：
信源
信道
信宿
干扰源
2020/5/28
为了使消息可靠地、有效地传送到信宿，就需要 对信源的消息进行处理； 有没有可靠的、有效的处理方法？如何进行编码？ 香农信息论奠定了通信的理论基础。 信息是消息的不确定性度量。某消息出现的概率 大，它的信息量就小， 相反，某消息出现的概率 小，则它的信息量就大。通信的关键是信息的传 输问题。 信源编码：实现有效性；信道编码：实现可靠性； 密码：实现保密性及认证性；
R. J. McEliece《The Theory of Information and Coding》 第二版，电子工业出版社，2019。（内容简练，编码方面较全）
* J.H.Van Lint 《Introduction to coding theory》 GTM 86, Springer-Verlag, 2019.
1916年生于 Gaylord, MI 的一个小镇。母亲是一个语 言教师和中学校长，父亲是一个商人。
16岁高中毕业，进入密西根大学。1936年获得电子工 程和数学双学士学位。随后进入 MIT，作为研究生和研 究人员。一年后，完成布尔代数用于开关电路的硕士论 文。1940年完成“关于遗传学的代数”的博士论文。
信道编码 R<C
信道 解码
R’－编码信息传输率 L/N R －信道信息传输率 L/n
噪声
信宿
信源 解码
2020/5/28
香农信息论主要讨论如下内容： 1、围绕信息的度量所展开的讨论。这是信息论建立的基础，
给出了各种信息量和各种熵的概念； 2、围绕无失真信源编码所展开的讨论。最主要的结论是
香农第一定理以及各种信源编码方法 。 3、围绕信道编码所展开的讨论。它给出了信息传输率、
1941年以后进入 Bell 实验室。(新理论和技术的摇篮)
1945年写出“密码学的数学理论”，1949年正式出 版，名为“保密系统的通信理论”。1948年发表“通信 系统的数学理论”。其后又取得通信、人工智能等多方 面的成果。
2020/5/28
N 信源
信息 信号
L
C－信道容量
n 信道
信源熵 H
信源编码 R ’> H
6、 围绕通信网的发展带来的信息传输问题展开的讨论。 即网络信息理论，随着通信网、因特网的发展，它越 来越受到重视。
7、 围绕通信的保密所展开的讨论。包括保密通信的技术 体制及其数学模型，传输线路保密技术的信息论基础， 信息保密技术的基础知识以及保密通信的各种方法。
2020/5/28
本课程的讲授内容：Biblioteka 信息论基础2020/5/28
2011 年 3 月
教材和参考书：
傅祖芸 编著《信息论－基础理论与应用》， 电子工业出版社，2019，第二版.
孟庆生《信息论》，西安交通大学，1986。
（数学家写的研究生教材，含编码和密码）
朱雪龙《应用信息论基础》，清华大学出版社,2000。
（研究生教材，面向电子类，含编码方法。）
信道容量等概念，最主要的结论是香农第二定理，以及 基于该定理的各种信道编码，如分组码、卷积码等。 4、围绕带限信道传输的能力所展开的讨论，最主要的结论 是信道容量公式，即香农公式。
2020/5/28
5、 基于信息传输时允许一定程度的失真和差错所展开 的讨论。由此得到信息率失真理论、香农第三定理、 信息价值等。这是目前还在不断发展和完善的理论， 在通信以外得学科不断得到应用。
第四讲 信道容量及其计算 1. 信道容量 2. 信道容量的计算
第五讲 1. 2. 3. 4.
连续信源和信道 连续信源的微分熵 具有最大熵的连续信源 连续信道和波形信道 连续信道和波形信道的信道容量
王育民、梁传甲《信息与编码理论》，西电教材。
（内容深入，推导过程少）
沈连丰、叶芝惠 编著《信息论与编码》 东南大学硕士教材，科学出版社，2019， （面向通信专业）。
2020/5/28
周荫清主编《信息理论基础》 北航出版社，2019 （简洁，面向电子类）
T. M. Cover & J. A. Thomas , Elements of Information Theory ， Addison-Wesley Pub, 1990, 清华影印 。
第一讲 1. 2. 3.
信息熵 信息论的主要内容 信息的度量－信息熵 信息熵的性质
第二讲 1. 2. 3. 4.
信源的信息熵 信源的描述 无记忆扩展信源 离散平稳信源 马尔可夫信源
2020/5/28
第三讲 1. 2. 3.
平均互信息 信道和平均互信息 平均互信息的性质 数据处理定理
2020/5/28