（3）建立了一组重要的编码定理，从理论上指明了为达 到上述性能界限应当遵循的信息处理的方法和原则。这 就不仅从定性方面而且也从定量方面深刻地揭示了信息 传递和处理的规律，使通信的研究从经验的阶段转变为 科学。
通信系统模型
信
信
信
源
道
宿
通信系统模型
信
消 息
编码
信 号
源
器
信 信 信号+ 干扰
译码
恢复的 消息
➢ 1948年香农发表《The mathematical Theory of Communication 》开创了信 息论
➢ 信息论起源于通信的工程问题，广泛地 应用于许多领域
香农信息论
信息论基础
信源部分
信道部分
信源的描述----信息熵 信 源 编 码 信道的描述----信道容量 信 道 编 码
无失真信源编码 限失真信源编码
2. 需要解决的问题： ➢ 通信系统中信息传输的效率 ➢ 信息传输的准确性问题 ➢ 噪声干扰 ➢ 频率特性
本质为：信息传输的可靠性与有效性问题。
信息论的主要贡献是：
（1）把统计信息定义为“用来消除信息接收者某种认识 上的不定性的东西”，并给出了其度量公式———熵和 互信息；
（2）建立了一些重要的性能界：信源输出的最大可能的 信息量，为满足一定失真度的要求所必须传递的最小信 息量，信道上的最大可能通过能力等；
其特点：有明确定义的科学名词，它与内容 无关，而且不随信息的具体表达式的变化而变 化。它独立于形式，反映了信息表达式中统计 方面的性质。是统计学上的抽象概念。
香农信息论中定义信息为“用来消除信 息接收者某种认识上的不确定性的东西”， 即遵循了统计信息的定义。
香农信息论的内容
信息论产生背景
1. 计量信号中信息多少
➢ 广义信息——是将信息的形式和内容全部包 含在内的最广泛意义上的信息。
其特点：形式和内容的统一。
➢ 技术术语信息——计算机所处理的海量对象， 如音频和视频数据、文档资料等在技术层面上 统称为信息。
其特点：具体形式，不包含内容。
信息的概念
➢ 统计信息——可用数学公式严格定义，反映 了信息表达形式在统计方面的性质。
信息的概念
信息概念的定义很多，但直到现在，还没 形成完整、明确、为世人所普遍公认的定义。 其原因是人们对信息的本质认识还不够。
信息是客观事物状态和特征的反映，具有 形式和内容之分。
不同的定义：从不同的侧面，不同的层次 上揭示了信息的特性。通常为三类定义：广义 信息、技术术语信息和统计信息。
信息的概念
• 同一消息对不同的客体来说可以含有不同 的信息量；同一信息可以用不同形式的消 息来载荷。
信息、消息、信号 三者之间的关系
• 信号是消息的表现形式，消息是信号的 具体内容。
• 信号是表示消息的物理量，包括声波、 光波、电信号、机械信号等。
信息、消息、信号 三者之间的关系
信息
消息
信号
信息论的发展
目录
➢ 第一章 绪论 ➢ 第二章 信源和熵 ➢ 第三章 信道及信道容量 ➢ 第四章 离散信源的无失真编码 ➢ 第五章 信道编码 ➢ 第六章 限失真信源编码
第一章 绪论
本章主要内容
➢ 课程介绍与要求 ➢ 信息的概念 ➢ 香农信息论的内容
➢ 信息论发展简史与应用
课程介绍与要求
➢ 32学时，专业基础课 ➢ 香农信息论是本课内容 ➢ 复习概率知识，结合通信原理有助理解 ➢ 注重课后习题练习，多讨论 ➢ 作业占30%，考试占70%
道
器
宿
干 扰
噪声
源
信息、消息、信号 三者之间的关系
• 信息的特点： – 信息是无形的。 – 信息是可共享的。 – 信息是三者之间的关系
• 消息是信息的载荷者。消息具有不同的形 式：语言、文字、符号、数据、图片等。
• 构成消息要两个条件： – 能被通信双方所理解 – 可以在通信中传递和交换