2018/10/19 7
消息、信号和信息
信号最具体，它是一物理量，可测量、可显示、 可描述，同时它又是载荷信息的实体 信息的物理层表达 消息是具体的、非物理的，可描述为语言文字、 符号、数据、图片，能够被感觉到，同时它是信 息的载荷体，是信息论中主要描述形式 信息的数学层表达 信息是抽象的、非物理的 哲学层表达
香农其人—信息理论
• 通信的数学理论是香农在数学与工程研究 上的顶峰。他把通信理论的解释公式化， 对最有效地传输信息的问题进行了研究。 • 后来，写道： “信息理论可能像一个升空的气球，其重 要性超过了它的实际成就”
香农其人—信息理论
• 香农理论的重要特征是熵(entropy)的概念， 他证明熵与信息内容的不确定程度有等价 关系。 • 熵曾经是波尔兹曼在热力学第二定律引入 的概念，可以把它理解为分子运动的混乱 度。 信息熵也有类似意义。
2018/10/19 9
信息的特征
《信息论——基础理论与应用》，博祖芸编著，电子工业出版社
1. 信息的客观性 2. 信息与载体的不可分割性
3. 信息的价值性
4. 信息的时效性 5. 信息的可分享性 6. 信息的可传递性 7. 信息的可扩散性
2018/10/19 10
信息的特征
8. 信息的可加工性
信源、信宿和信道

信源：发送消息的源
–
–
离散信源和连续信源 信源是信息论的主要研究对象之一，但在信息论中 并不探讨信源的内结构和物理机理，而把注意力放 在信源的输出上，重点讨论信源输出的描述方法及 性质。

信宿：信息归宿之意，亦即收信者或用户，是信息
传送的终点或目的地。

信道：传输信息的物理媒介
2018/10/19
22
信源编码器与译码器

信源编码器的作用
–
把信源发出的消息变换成由二进制码元(或多进制码 元)组成的代码组，这种代码组就是基带信号。 同时通过信源编码可以压缩信源的冗余度，以提高通 信系统传输消息的效率。
–

信源译码器的作用
–
把信道译码器输出的代码组变换成信宿所需要的消息 形式，它的作用相当于信源编码器的逆过程。
香农其人—攻读学位
• 1940年香农在MIT获得数学博士学位，而 他的博士论文却是关于人类遗传学的，题 目是 《An Algebra for Theoretical Genetics》 (理论遗传学的代数学)。
香农其人—信息理论
• 1948年发表论文 ： 《A Mathematical Theory of Communication 》 “通信的根本问题是报文的再生，在某一点 与另外选择的一点上报文应该精确地或者 近似地重现” 这篇论文建立了信息论这一学科，给出了 通信系统的线性示意模型的新思想 在这篇论文中，香农首次引入“比 特”(bit)一词
如何度量信息
如何衡量信息量的大小?
事件发生的概率越小，此事件含有的信息量就越大。（ 不太可能发生的事件竟然发生了，令人震惊） 例1：中国足球队5：0力克韩国足球队”含有的信 息量大。（小概率事件发生了，事件信息量大） 例2: 中国足球队0：1负于韩国足球队”含有的信 息量小。（大概率事件发生了，事件信息量小）
有关哲学家的论述
信息是一切物质的属性 信息就是信息，不是物质也不是能量
2018/10/19 5
消息、信号和信息
信源
(发送者) 干扰或噪声 消息
信道
信宿
(收信者)

消息（Message）：
信源发出的语言、文字、公式、数据、声音、图像 等等。每个消息都是具体的，其内容千千万万，形式多种 多样。
信息及香农信息论简介
大纲
第一部分 信息的概念 第二部分 香农信息论及应用 第三部分 香农信息论的局限性 第四部分 结束语
世界的支柱之一:信息

物质世界的三大支柱：物质、能量和信息
–
–
–
Without materials, there is nothing. 没有物质的世界是虚无的世界 Without energy, nothing happens. 没有能源的世界是死寂的世界 Without information, nothing makes sense. 没有信息的世界是混乱的世界
24
2018/10/19
大纲
第一部分 信息的概念 第二部分 香农信息论及应用 第三部分 香农信息论的局限性 第四部分 结束语
香农信息论及应用
Claude Shannon (19162001)
香农其人
• 20世纪中叶，信息论、控制论、系统论等 标新立异的新理论相继问世，有力地“晃 动”着传统的科学框架。克劳德· 香农是一 位美国数学工程师，作为信息论的创始人， 人们认为他是20世纪最伟大的科学家之一。 他在通信技术与工程方面的创造性工作， 为计算机与远程通信奠定了坚实的理论基 础。人们尊崇香农为信息论及数字通信时 代的奠基之父。 • 信息概念、“比特”

信息量 •我向你提供的信息量的大小就是你事先不知道结 果的程度!也即是信息的不确定度。 •如果你事先全知道了,说明我提供的信息量等于0; •如果你事先一无所知,说明我提供的信息量最多. •不知道意味着在我告诉你之前你只能猜测! •猜测就是按照每个可能结果的出现概率进行猜测! •因此,你只知道这个事情的每个结果的发生概率!
13
何为信息? 什么能提供信息?
例一：扔硬币
正反面不确定
例二：天气预报
晴、多云、雨、雪、风：不确定
例三：足球比赛
胜负关系不确定
2018/10/19
14
何为信息? 什么能提供信息?

消息



打电话时对方发出的声音 互联网上的网页 广播、电视的节目


有些消息我们是未知的，有些是我们已知的 人们感兴趣的是未知的消息
2018/10/19 8
信息的特征
信息的基本概念在于它的不确定性，任何已确定 的事物都不含信息。 接收者在收到信息之前，对它的内容是不知道 的，所以信息是新知识、新内容 信息是能使认识主体对某一事物的未知性或不 确定性减少的有用知识 信息可以产生，也可以消失，同时信息可以被 携带、贮存及处理 信息是可以量度的，信息量有多少的差别
美国电机和电子工程协会的荣誉奖
香农的贡献
• 1948年发表“保密通信的信息理论”，首先用信 息论的观点对信息保密问题作了全面的论述；
香农其人
• 2001年2月24日在马萨诸塞州的Medford 因老年痴呆症与世长辞，享年85岁。 • 贝尔实验室和MIT发表的讣告都尊崇香农为 信息论及数字通信时代的奠基之父。
香农其人—攻读学位
• 1938年在MIT获得获得电气工程硕士学位，硕士论文题 目是《A Symbolic Analysis of Relay and Switching Circuits》 (继电器与开关电路的符号分 析)。他注意到电话交换电路与布尔代数之间的类似性， 即把布尔代数的“真”与“假”和电路系统的“开”与 “关”对应起来，并用1和0表示。于是他用布尔代数分析 并优化开关电路，这就奠定了数字电路的理论基础。 • 哈佛大学的伽登纳(Howard Gardner)教授说，“这可能 是本世纪最重要、最著名的一篇硕士论文。”

信号（Signal）：
替代消息并适合于在信道中传输的是连续或脉冲的 电压、电流、电磁波及光波。
2018/10/19 6
消息、信号和信息
信息（Information）：
信息是消息的内涵，是信号的价值，信息 是能使信宿得以获知解惑的东西。
它应当是从千千万万不同形式不同内容的 消息中抽象出来的、具有共性的、可定量 测度的一个量，应该有它的单位和数学表 达。
信息的定义
从日常生活知识来理解
英国牛津字典：信息是谈论的事情、新闻和知识 韦氏字典： 在观察研究过程中获得的数据情报、新闻和知识 信息是所观察事物的知识 日本广辞苑：
有关科学家的论述
香农：信息是事物运动状态或存在方式的不确定性 的描述 艾什比：把信息定义为“差异度” 维纳：把信息定义为一种“组织性”的度量
17
信息量的度量
•所以,我提供的信息量就是由你事先知道的每个 可能结果的发生概率(即随机事件的概率分布)决 定. 简单地说,信息就是: (1) 当未知的变成已知的之后获取的信息; (2) 当未知的还没变成已知之前包含的未知信 息.
18
信息量的度量
•通常的信息是指: (1) 一个实验提供的信息; (2) 一个随机事件包含的信息; (3) 一个随机变量包含的信息. 其中(1)和(2)的含义相同,它们比(3)的意义 更加广泛.
香农其人—参加工作
• 1941年香农以数学研究员的身份进入新泽西州的AT&T贝 尔电话公司，并在贝尔实验室工作到1972年；从24岁到 55岁，整整31年。 • 1956年他当了MIT的访问教授，1958年成为正式教授， 1978年退休。 • 二战时期，香农博士是一位著名的密码破译者。1949年 香农发表了另外一篇重要论文 《Communication Theory of Secrecy Systems》 意义：使保密通信由艺术变成科学！
热能不能完全转化为机械能， 只能从高温物体传到低温物 体
香农其人—业余爱好
• 香农可以熟练地玩一套杂技。 一个脍炙人口的故事：他经常骑着独轮车、手里抛着三 个球来到贝尔实验室的大厅。 发明过有两个座位的独轮车，不过恐怕没有人敢与他 享；他还把独轮车造成偏离地心的，骑在上面忽高忽 低，像鸭子行走似的 这些活动表明了香农的主张，即好奇心比实用性对他的 刺激更大。 他的名言是：“我感到奇妙的是事物何以集成一体。”
9. 信息的可再现性
10. 信息的可存储性 11. 信息的积累性 12. 信息的延续性和继承性 13. 信息的可开发性