3、信息和信号
信号是消息的载体，消息则是信号的具体内容。 信号携带信息，但不是信息本身。 同一信息可用不同的信号来表示，同一信号也可表 示不同的信息。
三、信息的性质
1、存在的普遍性 2、可度量性 3、可共享性
1.2 信息论研究的对象内容
1 香农信息论或狭义信息论。
与这三个概念相对应的香农三定理以及信源和信道编 码。
主要研究信息的测度、信道容量、信息率失真函数，
无失真信源 编码定理
信 源 熵
香农信息论
信 道 编 码 信 源 编 码
密 码
目的：是为了提高通信的可靠性和有效性。 通信系统模型方框图
信源：产生消息。消息可以是文字、语言、图 像等。 信源编码：提高信息传输的有效性。 有效性高：是经济效果好，即用尽可能短的时 间和尽可能少的设备来传送一定数量的信息。 信道编码：提高信息传输的可靠性。 可靠性高：是要使信源发出的消息经过信道 传输以后，尽可能准确地、不失真地再现在接 收端。 信道：传输信号。 信道解码：信道编码的逆变换。 信源解码：信源编码的逆变换。 信宿：接收消息。
第1章 概 论
1.1 信息的概念及其分类 1.2 信息论研究的对象和内容 1.3 信息论的形成和发展
信息论是人们在长期通信工程的实践中， 由通信技术与概率论、随机过程和数理 统计相结合而逐步发展起来的一门科学。 通常人们公认信息论的奠基人是美国科 学家香农（C.E.Shannon）。
1.1 信息的概念及其分类
总之，人们研究信息论的目的是 为了高效、可靠、安全地交换和利用
各种各样的信息。
1.3 信息论的形成和发展
一、起源
1948年香农发表了“通信的数学理论” 的文章，标志着信息论的正式诞生。
1948年 Mathematical Theory in Communication
ห้องสมุดไป่ตู้
与此同时，维纳提出了在干扰作用下的 信息最佳滤波理论，成为信息论的一个 重要分支。
2
一般信息论
也称工程信息论，主要是研究信息
传输和处理问题。除了香农基本理论
之外，还包括噪声理论、信号滤波和
预测、统计检测与估计理论、调制理 论。后一部分内容以美国科学家维纳 （N· Wiener）为代表。
一般信息论
信号滤波 预测理论
调制 理论
香农 信息论
噪声 理论
统计检测 估计理论
3 广义信息论 也称信息科学，概括说来，凡是能 够用广义通信系统模型描述的过程或系 统，都能用信息基本理论来研究，如模 式识别、心理学、遗传学、语言学等。
信息论与编码
范锦宏
教材：宋鹏，信息论与编码原理，电子工业出版社， 2011年 课程性质：专业必修课（48学时）（3学分） 先修课程：概率论 后续课程：通信原理，移动通信 答疑时间： 地点：四教603 参考书： 冯桂，《信息论与编码技术》，清华大学出版社， 2007年。 李亦农，《信息论基础教程》，北京邮电大学出版社， 2005年。 姜丹，《信息论与编码》，中国科学技术大学出版社， 2001年。
一、英文 information ，信息社会，信息时代，信息客观 存在，无处不在。
二、信息、消息和信号
1、定义
信息：事物运动状态或存在方式的不确定性的描述。 消息：指包含有信息的语言、文字和图像等。 信号：表示消息的物理量，一般指随时间而变化的电压或 电流称为电信号。
2、信息和消息
信息不等于消息。消息中包含信息，是信息的载体。 同一信息可以用不同形式的消息来载荷。 同一个消息可以含有不同的信息量。
二、发展
信息论不仅在通信、广播、电视、 雷达等电子领域得到了直接应用， 而且渗透到医学、生理学、生物学 经济学和计算机科学等领域，信息 论逐步发展为范围极广的广义信息 论即信息科学。