第1章 概述
1.1 通信与信息的一般概念 1.2 信息论研究的主要内容和意义 1.3 Shannon信息论的观点与方法 1.4 信息理论与信息科学的发展历程 1.5 信息的再认识
1.1 通信与信息的一般概念
本小节主要讲三方面内容： 1.1.1 信息、消息和信号 1.1.2 Shannon信息 1.1.3 通信系统模型
连续信源分为两种： • 波形信源（或模拟信源）：连续时间波形（时间、取值连续）的信源。
例：无线广播信号、电视信号、语声信号、图像信号、多媒体信号等。 • 离散时间连续信源：在离散时间发出取值连续符号的信源。
例：模拟信源抽样或通过其他变换得到的等价的离散时间序列。 （ 思考题：你还能列出多少波形信源的例子。） • 离散信源和离散时间连续信源的共性：
1.1 数字通信系统模型
Shannon定义的局限性和缺陷： （1）Shannon信息假定事物的状态用经典的概率模型来描述。
问题是：某些事物运动状态可能不存在概率模型，或难于得到。 （2）Shannon信息没有考虑收信者的主观特性和主观意义，
也没有考虑事物本身的具体含义、用途、重要程度、后果等因素。 例如，同一消息对不同的收信者来说，引起不同的感情、不同的价值，
1.1 数字通信系统模型
1.1.1 信息、消息和信号 【例】 • 张三给李四发短信
张三
过程： （1）短信由手机编码成电波发送，
电波是短信（消息）的载体， 是物理存在的无线电“信号” （2）手机收信号，解码成原消息， 并在屏幕上显示短信（消息） （3）李四看到，脑中形成理解感受 这是“信息”。
发送短信 通过传输通道（无线电波）
1.1 数字通信系统模型
（1）信息源（简称信源） • 信源是信息的来源，产生可能包含信息的消息。 • 信源分：离散信源和连续信源两大类。 • 离散信源：在离散时间发出取值离散符号的信源。
例：字符序列，包括文件、信件、书报、杂志、电报、电传等。
（ 思考题：你还能列出多少离散信源的例子。）
1.1 数字通信系统模型
1.1 数字通信系统模型
1.1.2 Shannon信息 •信息仅与随机事件的发生相关，是一种不确定的东西。 •研究随机事件的数学工具——概率论和随机过程来度量不确定性的大小 （本书称为不确定度）。 •Shannon信息：用事件概率的对数的负值定义信息量 •Shannon信息熵：信息量的平均值
奠定了现代信息论的基础。
电信网、互联网、移动通信网、广播电视网、光通信网等
1.1 数字通信系统模型
• 点对点通信系统模型
信源
消息
信号
编码器
信号+干扰
消息
信道
译码器
信宿
干扰 噪声源
• 通信系统模型可适用其它信息流通系统 例如：生物有机体的遗传系统、神经系统、视觉系统、管理系统等
• 5 部分组成：信源、编码器、信道、译码器、信宿；
或主观思维活动（如想旅游、要学好信息论等）产生的。 （3）消息需要用符号表达，
如文字、图片、语言、旗语、手语等。 若有效地传送，还需要变换成适合传输的物理信号， 如电信号、声信号、无线电波等。 信号是消息的载体，信号是实际物理存在的。
1.1 数字通信端（张三手机）把消息转换信号（消息→文字→ 电波）传输；
这些都应该认为是获得了不同的信息。 因此，信息有很强的主观性和实用性。
1.1 数字通信系统模型
1.1.3 通信系统模型
• 通信系统模型限制在点对点通信。 • 点对点通信系统模型指：
（1）“从一个地方向另一个地方传输信息的系统” 例：电报、电话、广播电视、无线通信、光通信、遥测、遥控、
雷达、声纳和导航等。 （2）存储系统为“现在向将来传输信息”的通信系统 例：磁盘或光盘驱动器、磁带记录器、视频播放器、U 盘存储器等。 • 传统的通信系统模型扩展至：
输出是序列；前者取可数符号集，后者取实数集。
1.1 数字通信系统模型
Shannon信息的优点： （1）Shannon信息概念是相对科学的，有明确的数学模型。 （2）Shannon信息概念与日常用语中的信息含义并不矛盾，排除了日常
用语中对信息一词某些主观的含义。 同一消息对任一收信者，得到相同信息量（互信息） （3）Shannon信息具有明确、科学的数学表达式，其数学公理和假设 严密（已严格证明所有的定理和性质）。 结论：Shannon信息论是一门严密的数学理论， 与通信工程中的基本问题吻合。
收信端收到信号（电波）恢复消息，并显示在手机上。 其转换就是编码技术（信源编码、信道编码、加密编码等）、
解码技术（编码的逆过程）、 调制技术和解调技术等。 （5）通信的内容是消息（或信号）所蕴含的信息。 “我刚吃完晚饭”的消息并不意外，信息量小，常发生。 “某地发生特大地震”的消息会吃惊，信息量大，不寻常事件。 可见，信息的量与事件的出现概率有重要关系。
李四
信号
消息1：我刚吃完晚饭 消息2：某地发生特大地震
信息
被人的大脑所理解，形成信息。 对于消息1，感觉平淡，信息量小。 对于消息2，感到非常吃惊，信息量大。
1.1 数字通信系统模型
• 总结通信基本要素和概念： （1）至少双方通信（发信端和收信端各 1），消息通过传输通道传送。 （2）消息是客观世界运动（如吃饭、地震、天气状况等）
什么是信息论
• 信息论：又称为通信的数学理论 是应用概率论、随机过程和数理统计方法研究信息 的传输、存储与处理的科学。
• 创 立：由数学家、科学家C. E. Shannon（香农）所创立。 • 时 间：1948年，二战后，电报诞生的110年后。 • 目 的：提高通信系统信息传输的
有效性、可靠性、安全性和认证性。
1.1 数字通信系统模型
• 消息、信号与信息的概念： • 信息：信息是任何随机事件发生所包含的内容。
仅与随机事件的发生相关，非随机事件的发生不包含信息。 • 消息：用文字、符号、数据、语言、音符、图片、图像等能够被人们
感觉器官所感知的物理现象，把客观物质运动和主观思维活动 的状态表达出来就成为消息。 • 信号：信号是消息的物理体现。 同一个消息可用不同的信号来表示， 同一信号可表示不同的消息。