国内外已有不下百余种流行的说法， 它们都是从不同的侧面和不同的层次来揭示信息的 本质的。
1928年，哈特莱(R．V．L Hartley) 在《信息传输》一文中提出：发信者所发出的信
息，就是他在通信符号表中选择符号的具体方式， 主张用所选择的自由度来度量信息。 局限性： ➢ 只考虑选择符号的方式，不涉及到信息的价值和具 体内容。 ➢ 没有考虑各种可能选择方法的统计特性。
信源编码器的主要指标
是它的编码效率。一般来说，效率越高，编译码 器的代价也将越大。
信源译码器
把信道译码器的输出变换成信宿所需的消息形式，
相当于信源编码器的逆过程。
19
信道编码器与译码器
信道编码 主要作用是提高信息传送的可靠性。
信道编码器的作用 在信源编码器输出的代码组上有目的地增加一些监督 码元,使之具有检错或纠错的能力。
an p(an )
样本空间 概率测度
先验概率p(xi)：
选择符号xi作为消息的概率。 11
例：气象预报
甲 X 晴 阴 大雨 小雨
p(x)
1/ 2,1/
4,
1/ 8,
1/8
乙
Y p(y)
晴 阴 1/4,1/4,
大雨 小雨
1/4, 1/4
“甲地晴”比“乙地晴”的不确定性小。
某一事物状态出现的概率越小，其不确定性越大。 某一事物状态出现的概率接近于1,即预料中肯定会 出现的事件，那它的不确定性就接近于零。
信道编码的主要方法 增大码率或频带,即增大所需的信道容量。这恰与信源 编码相反。
7
信息的表达层次
狭义而言，通信中对信息的表达分三个层次：信号、 消息、信息。 信号：信息的物理表达，是一个物理量，是一个载 荷信息的实体，可测量、可描述、可传输、可存储、 可显示。 消息 (或符号) ：信息的数学表达，承载了信息， 它是具体物理信号的数学抽象。如语言、文字、语音、 图像等。 信息：更高层次的哲学抽象，是信号与消息的承载 的对象，描述事物运动状态或存在方式的不确定性。
信息论与编码
主讲人：
简介
是一门应用概率论、随机过程、数理统计和近 代代数的方法，来研究信息传输、提取和处理 中一般规律的学科。
奠基人：美国数学家香农（C.E.Shannon） 1948年“通信的数学理论”
2
简介
信息论的基本问题—信息的度量 无失真信源编码定理—香农第一定理 信道编码定理—香农第二定理 信源编码、信道编码
14
信息的特征
• 信息是物质存在的普遍属性，信息和能量、物质规定了 事物的功能和性能；
• 接收者在收到信息之前，对它的内容是不知道的，所以， 信息是新知识、新内容；它使认识主体对某一事物的未 知性或不确定性减少的有用知识；
• 信息的存在具有普遍性、无限性、动态性、时效性和相 对独立性；
• 信息可以产生，也可以消失，同时信息可以被传递、转 换、扩散、复制、贮存、分割，具有可共享性；
9
1948年，维纳(N．Wiener)
控制论创始人维纳在《人有人的用处》一书中 提出：“信息是人们适应外部世界并且使这种适应 反作用于外部世界的过程中，同外部世界进行互相 交换的内容的名称。”
局限性：信息的定义是不确切的。
1948年，香农（C.E.Shannon）
发表了一篇著名的论文“通信的数学理论”。
12
的倒对数x的i的某不一确函定数性。可表示为先验概率p(xi) （4）自信息
（5）互信息
I (ai )
log
1 P(ai )
先验I (的ai不;b确j ) 定 l性og减P去(1a尚i ) 存lo的g不p确(a1i定bj性) 。
后送验端概发率的p(是aia|i的bj)概：率接。收端收到消息bj后而发
他从研究通信系统传输的实质出发，对信息作了科
学的定义，并进行了定性和定量的描述：
信息是事物运动状态或存在方式的不确定性的描
述。
10
香农信息的度量
（1）样本空间 某事物各种可能出现的不同状态。
（2）概率测度 对每一个可能选择的消息指定一个概率。
（3）概率空间
X P(
x)
a1 p(a1
)
a2 p(a2)
13
香农定义的优缺点
在现有的各种理解中比较深刻，其优点： 它是一个科学的定义，有明确的数学模型和定量 计算。 它与日常用语中的信息的含意是一致的。 定文排除了对信息一词某些主观上的含意。
也有其局限性： 定义的出发点是假定事物状态可以用一个以经典 集合论为基础的概率模型来描述。 没有考虑收信者的主观特性和主观意义，也撇开 了信息的具体含意、具体用途、重要程度和引起 后果等因素。
信宿：信息归宿之意，亦即收信者或用户， 是信息传送的终点或目的地。
信道：传输信息的物理媒介。
18
信源编码器与译码器
信源编码器
通过信源编码可以压缩信源的冗余度,以提高通信 系统传输消息的效率。
信源编码器分为两类
无失真信源编码：适用于离散信源或数字信号；
限失真信源编码：用于连续信源或模拟信号,如语 音、图像等信号的数字处理。
6
信息
信息论中最基本、最重要的概念，既抽象又复杂。
➢信息≠消息：消息是表现形式，信息是实质； ➢信息≠情报：情报一般只限于特殊领域，是一类特 殊的信息； ➢信息≠知识：知识是人们根据某种目的,从自然界 收集得来的数据中整理、概括、提取得到的有价值 的信息，是一种高层次的信息。 ➢信息≠信号：信号是承载消息的物理量。
3
第1章
绪论
1.1 信息的概念
5
几个常见概念
情报：是人们对于某个特定对象所见、所闻、 所理解而产生的知识。 知识：一种具有普遍和概括性质的高层次的信 息 ，以实践为基础，通过抽象思维，对客观事 物规律性的概括。 消息：用文字、符号、语音、图像等能够被人 们感觉器官所感知的形式，把客观物质运动和 主观思维活动的状态表达出来。
• 信息是可以量度的，信息量有多少的差别。 15
1.2 信息论研究的对 象、目的和内容
16
研究对象：通信系统模型
信源 信源编码
加密 信道编码
加密 密钥
解密 密钥
信道
信宿 信源解码
解密 信道解码
干扰源
17
信源、信道、信宿
信源：发送消息的源 离散信源 模拟信源
信源是信息论的主要研究对象之一.我们不探讨信源 的内部结构和机理，而关注信源的输出。重点讨 论其描述方法及性质。