2020/4/9
11
信息的性质
性质一：普遍性
信息是普遍存在的。
性质二：无限性
在整个宇宙时空中，信息是无限的。
性质三：相对性
对于同一事物，不同观察者所获得的信息量可能不同。
性质四：转移性
信息可以在时间上或空间中从一点转移到另一点。
性质五：变换性
信息是可变换的，可由不同的载体和不同的方法来载荷。
2020/4/9
信息及香农信息论简介
大纲
第一部分 信息的概念 第二部分 香农信息论及应用 第三部分 香农信息论的局限性 第四部分 结束语
世界的支柱之一:信息
物质世界的三大支柱：物质、能量和信息
– Without materials, there is nothing. 没有物质的世界是虚无的世界
– Without energy, nothing happens. 没有能源的世界是死寂的世界
– Without information, nothing makes sense. 没有信息的世界是混乱的世界
信息的定义
从日常生活知识来理解
英国牛津字典：信息是谈论的事情、新闻和知识
韦氏字典：在观察研究过程中获得的数据情报、新闻和知识
日本广辞苑：信息是所观察事物的知识
有关科学家的论述
香农：信息是事物运动状态或存在方式的不确定性的 描述 艾什比：把信息定义为“差异度” 维纳：把信息定义为一种“组织性”的度量
息量小。（大概率事件发生了，事件信息量小）
信息量
•我向你提供的信息量的大小就是你事先不知道结 果的程度!也即是信息的不确定度。 •如果你事先全知道了,说明我提供的信息量等于0; •如果你事先一无所知,说明我提供的信息量最多. •不知道意味着在我告诉你之前你只能猜测! •猜测就是按照每个可能结果的出现概率进行猜测! •因此,你只知道这个事情的每个结果的发生概率!
替代消息并适合于在信道中传输的是连续或脉冲的 电压、电流、电磁波及光波。
2020/4/9
6
消息、信号和信息
信息（Information）：
信息是消息的内涵，是信号的价值，信息 是能使信宿得以获知解惑的西。
它应当是从千千万万不同形式不同内容的 消息中抽象出来的、具有共性的、可定量 测度的一个量，应该有它的单位和数学表 达。
这就是说，将未知的变成已知的时就获得了信 息！
信息寓于不确定之中！
13
何为信息? 什么能提供信息?
例一：扔硬币 正反面不确定
例二：天气预报 晴、多云、雨、雪、风：不确定
例三：足球比赛 胜负关系不确定
2020/4/9
14
何为信息? 什么能提供信息?
消息
➢ 打电话时对方发出的声音 ➢ 互联网上的网页 ➢ 广播、电视的节目
2020/4/9
7
消息、信号和信息
信号最具体，它是一物理量，可测量、可显示、 可描述，同时它又是载荷信息的实体
信息的物理层表达 消息是具体的、非物理的，可描述为语言文字、 符号、数据、图片，能够被感觉到，同时它是信 息的载荷体，是信息论中主要描述形式 信息的数学层表达 信息是抽象的、非物理的 哲学层表达
信源、信宿和信道
信源：发送消息的源
– 离散信源和连续信源
– 信源是信息论的主要研究对象之一，但在信息论中 并不探讨信源的内结构和物理机理，而把注意力放 在信源的输出上，重点讨论信源输出的描述方法及 性质。
2020/4/9
9
信息的特征
《信息论——基础理论与应用》，博祖芸编著，电子工业出版社
1. 信息的客观性 2. 信息与载体的不可分割性 3. 信息的价值性 4. 信息的时效性 5. 信息的可分享性 6. 信息的可传递性 7. 信息的可扩散性
2020/4/9
10
信息的特征
8. 信息的可加工性 9. 信息的可再现性 10. 信息的可存储性 11. 信息的积累性 12. 信息的延续性和继承性 13. 信息的可开发性 14. 信息的可再生性和可增值性
有些消息我们是未知的，有些是我们已知的 人们感兴趣的是未知的消息
如何度量信息
如何衡量信息量的大小?
事件发生的概率越小，此事件含有的信息量就越大。（ 不太可能发生的事件竟然发生了，令人震惊）
例1：中国足球队5：0力克韩国足球队”含有的信
息量大。（小概率事件发生了，事件信息量大）
例2: 中国足球队0：1负于韩国足球队”含有的信
12
何为信息? 什么能提供信息?
我将你原来不知道的结果告诉你,就是提供了信息! 例1 当我给你一封信时，你就从我这里获得了
信息，因为你事先并不知道其中的内容。 例2 设电脑彩票由8个10进制数组成.在开奖之
前，我们不知道特等奖号码的信息，因为特等奖的 号码是不确定。特等奖号码的信息只有在开奖时才 获得。一旦开奖，就获得了8个十进制数的信息。
17
信息量的度量
•所以,我提供的信息量就是由你事先知道的每个 可能结果的发生概率(即随机事件的概率分布)决 定.
简单地说,信息就是: (1) 当未知的变成已知的之后获取的信息; (2) 当未知的还没变成已知之前包含的未知信 息.
18
信息量的度量
•通常的信息是指: (1) 一个实验提供的信息; (2) 一个随机事件包含的信息; (3) 一个随机变量包含的信息. 其中(1)和(2)的含义相同,它们比(3)的意义
有关哲学家的论述
信息是一切物质的属性 信息就是信息，不是物质也不是能量
2020/4/9
5
消息、信号和信息
信源 消息
(发送者)
信道
信宿
(收信者)
干扰或噪声
消息（Message）：
信源发出的语言、文字、公式、数据、声音、图像 等等。每个消息都是具体的，其内容千千万万，形式多种 多样。
信号（Signal）：
2020/4/9
8
信息的特征
信息的基本概念在于它的不确定性，任何已确定 的事物都不含信息。
接收者在收到信息之前，对它的内容是不知道 的，所以信息是新知识、新内容
信息是能使认识主体对某一事物的未知性或不 确定性减少的有用知识
信息可以产生，也可以消失，同时信息可以被 携带、贮存及处理
信息是可以量度的，信息量有多少的差别
更加广泛.
19
什么是信息
香农：“信息是事物运动状态或存在 方式的不确定性的描述”。 通过概率论和随机过程测度信息不确 定性的大小。 香农的通信系统模型
信源 消息
信道
信宿
(发送者)
(收信者)
干扰或噪声
通信系统模型
信源
信源/信道 编码器
信道
消息
信号
信道/信源 译码器
信宿
信号加 噪声
消息
噪声
通信系统模型