19
§1.1 通信系统的基本模型
第 二、基本概念
一 章
4. 编码与译码
引 信道编码 通过增加冗余等手段对信源码进行编码，使消息
论
在传递的过程中具有一定的抗干扰能力，以提高
信息传送的可靠性。信道编码又称为可靠性编码
或者纠错编码。
增加冗余 增加消息中符号或者信源码之间关联性。 比如 身份证号码中的校验码， 计算机中的奇偶校验码， 条型码，………
18
§1.1 通信系统的基本模型
第 二、基本概念
一 章
4. 编码与译码
引 信源编码 通过消除冗余、控制码长等手段对信源进行编码，
论
以提高传输效率。信源编码又称为有效性编码。
控制码长 晴 x 1 0 0 0 0 阴 x2 1 01 1 雨 x3 2 10 10 雪 x4 3 11 11
◈ 经常发生的消息用短码。 ◈ 如果受到干扰，发出“0”，收到“1”，怎么办？
第 二、基本概念
一 章
5. 调制与解调
P3
引 调制 将基带信号通过频谱搬移技术调制到高频信号。 论
1.1 通信系统的基本模型
信
息
论 基
信息论基础
础
Fundamentals of Information Theory
谢松法
xiesongfa@ 华中科技大学数学系
2
信 一、教学及考核方式
息
论
基
课堂教学： 40 学时
础
上机实验： 12 学时
作业：
考试方式： 闭卷 考试成绩： 实验成绩占 20%，考试成绩占80%
模拟信号
变 换
模/数转数字换信号
编码
噪声
数/模转换
反变
译码
换
加强有效性和可靠性
调制 可以传输的信号
信道
解调
13
§1.1 通信系统的基本模型
第 二、基本概念
一 章
1. 信源与信宿
P1
引 信源 信源是产生消息(或消息序列)的源(人或者机器)；
论
消息可以是语言、文字、图象、符号、函数等等。
信源
信道
信宿
9
§1.1 通信系统的基本模型
第 一、基本流程
一 章 比如 古代烽火台 —— 最早的信息通信系统
引
论
◈ 边防士兵点燃烽火，
传递出某种消息或者信息(如报警等)；
◈ 人们看到烽火， 获得某种消息或者信息。
10
§1.1 通信系统的基本模型
第 一、基本流程
一
章
烽火不一定总是报警，它也报平安。
3
信 二、教材与参考书
息
论
贾世楼，《信息论理论基础》，
基
础
哈尔滨工业大学出版社。
傅祖芸，《信息论 — 基础理论与应用》， 电子工业出版社。
4
信 三、教学内容
息
论
本课程主要讲解香农信息论的基本概念、基本理论和
基
础 基本方法，以及编码的理论和实现原理。
第一、二、四、六章：
(1) 介绍信息的统计度量(熵)，信道的熵速率和信道容量； (2) 介绍无失真信源编码及常用的信源编码方法； (3) 介绍信道编码理论及常用的信道编码方法； (4) 简单介绍限失真信源编码的一些知识。
信源是发信者，输出消息，携带信息。
信宿 信宿是收信者，收到消息，获得信息。
2. 换能器 P2 换能器进行能量变换，如声电变换、光电变换等等，
得到电信号。
14
§1.1 通信系统的基本模型
第 二、基本概念
一 章
3. 模/数转换与数/模转换
P2
引 模拟信号 即连续(时间)信号。
论
取值任意，时间连续(一维)；
一
章
同样是报平安(消息)，但平时与战时报平安所传递的
引
信息不可同日而语。
论
可见，消息 信息。
现代通信系统传递消息或者信息的手段已不断改进， 整个系统已经相当发达和完善。
12
§1.1 通信系统的基本模型
第 一、基本流程(现代通信系统) P4 图1.2
一
章
信源
信宿
引
产生消息(携带信息)
论
换能器
换能器
取值任意，空间连续(二维)。
离散信号 即离散(时间)信号。
取值任意，时间离散(一维)； 取值任意，空间离散(二维)。
x(t )
t
模拟信号
x(n)
t
采样信号
15
§1.1 通信系统的基本模型
第 二、基本概念
一 章
3. 模/数转换与数/模转换
引 数字信号
论
取值离散，时间离散(一维)；
取值离散，空间离散(二维)。
(香农)
7
§1.1 1
通信系统的基本模型
章 一、基本流程
引 论
二、基本概念
三、基本要求
四、信源与信道分类
8
§1.1 通信系统的基本模型
第 一、基本流程
一
章
一般而言，
引
首先信息被产生，
论
然后通过某种方式传递，
最后收到信息或者获得信息。
(信源) (信道) (信宿)
最基本的通信系统模型
比如 电平： , 0, ; 图像：像素点，256级灰度。
(图像举例)
16
§1.1 通信系统的基本模型
第 二、基本概念
一 章
4. 编码与译码
P3
引 编码 将信源产生的消息或者信源码变换为一个数字序列。
论
通常为二进制数字序列。
提高有效性(信源编码)； 编码的目的主要有 增加可靠性(信道编码)；
加强保密性(加密编码)。
译码 将数字序列还原成消息或者信源码。
17
§1.1 通信系统的基本模型
第 二、基本概念
一 章
4. 编码与译码
引 信源编码 通过消除冗余、控制码长等手段对信源进行编码，
论
以提高传输效率。信源编码又称为有效性编码。
消除冗余 消除或者减少消息中符号之间关联性。 比如 拍发电报、发送短信、BBS、聊天室等: (FT，BT，PS，BTW，……)
20
§1.1 通信系统的基本模型
第 二、基本概念
一 章
4. 编码与译码
引 加密编码 加密编码是将明文码变换为密文码，以提高传输
论
和处理过程中的安全保密性。
加密编码一般由密钥控制，不同的密钥产生不同 的加密编码。
密文经信道编码后通过信道传到接收端， 密钥通过安全信道传到接收端。
21
§1.1 通信系统的基本模型
引
论
当年安史之乱，安禄山从范阳起兵，仅用 23 天便
逼近洛阳、潼关一带。高仙芝、封常清固守潼关，遭
诬陷抵抗不力被杀；接着哥舒翰坚守潼关，从而出现
相持局面。这一段时间每天都点平安火。后来哥舒翰 被迫出战，在灵宝大败，人们看不到平安火。几天之
后，皇帝逃往四川。
11
§1.1 通信系统的基本模型
第 一、基本流程
5
第 一
第一章 引论
章
引 §1.1 通信系统的基本模型
论 §1.2 信息论的研究范畴
6
第 一
第一章 引论
章
引
信息论是在长期的通信实践活动中，由通信技术与
论 概率论、随机过程、数理统计等学科相结合发展起来的
一门新兴交叉学科。
美国数学家香农于 1948 年发表的论文“通信的数学 理论”奠定了信息论的基础。