第一章
绪论
主要内容
1.1 信息的概念 1.2 信息论研究的对象、目的和内容 1.3 信息论的发展过程 1.4 信息论的研究现状

1.1 信息的概念

组成客观世界的三大基本要素：物质、能量和信息， 材料科学、能源科学、和信息科学一起被称为当代 文明的“三大支柱”。
Without materials, there is nothing. Without energy, nothing happens. Without information, nothing makes sense . 没有物质的世界是虚无的世界； 没有能源的世界是死寂的世界； 没有信息的世界是混乱的世界。
哈特莱信息定义

1928年，哈特莱在《贝尔系统技术杂志》上发表 了一篇题为“信息传输”的论文。认为，发信者所 发出的信息，就是他在通信符号表中选择符号的具 体方式。
信息概念：选择通信符号的方式； 例如：假定符号表是26个英文字母及标点符号，那么用 符号“I am well”传达了一种信息，而用符号“I am sick”传达了另一种信息。 度量方式：选择的自由度。 例如：如果发信者只能从由0和1两个符号组成的符号表 中选择符号而且长度限定为1，则发信者只有两种选择， n 即0和1，这时传达的信息量很小；如果放宽限制，如长 2i 度不超过n（n>1）则发信者可以选择的符号串有 i 1 个，n越大能传达的信息量就越大。
信息的定义
从科学层面上定义：
信息是收信者事先所不知道的报导。 信息是通信传输的内容。 信息是事物之间的差异（变异度） 。 信息是使概率分布发生变动的东西。 信息是负熵。 信息是有序性的度量。 信息是系统组织程度的度量。 信息是被反映的差异（变异度） 。
通信领域关于信息的定义

举例：
哈特莱信息定义。 维纳信息定义。 朗格信息定义。 香农信息定义。

内容介绍
第一部分 绪论（第一章） 第二部分 信息测量问题

信息的度量（第二章） 信源及信源熵（第三章） 信道及信道容量（第四章）

第三部分 编码问题（香农三定理）
无失真信源编码（第五章）——香农第一定理 有噪信道编码（第六章） ——香农第二定理 限失真信源编码（第七章） ——香农第三定理 保真度准则下的信源编码定理

香农信息定义

香农信息定义的优点：
它是一个科学的定义，有明确的数学模型和定量计算。 它与日常用语中的信息的含义一致。

香农信息定义的缺陷：
该定义是以经典集合论为基础的概率模型来描述的。但 在实际中的某些事物运动状态很难找到合适的模型。 原因：香农的信息定义只考虑了概率引起的不确定性， 而没有考虑由于模糊性等造成的不确定性。 该定义未考虑收信者的主观特征和主观意义。
基本情况
课时：32学时 考核：平时成绩：10%
作业：30%=20%+10% 考试：60%
参考资料
1、李梅、李亦农等，信息论基础教程（第2版）， 北京邮电大学出版社，2008.10 2、冯桂等，信息论与编码技术，清华大学出版社， 2007.3 3、傅祖芸，信息论-基础理论与应用（第2版），电 子工业出版社，2008.4 4、周荫清，信息理论基础，北京航空航天大学出 版社，2002 5、（美）Thomas M.Cover著，阮吉寿、张华等 译，信息论基础，机械工业出版社， 2008.1 …………

信息是信息论中最基本、最重要的概念。
信息的定义

信息定义举例：
从本质层次上定义：
信息是事物相互作用的表现形式。 信息是事物联系的普遍形式。 信息是物质的普遍属性。 信息是被反映的物质的属性。 信息是人与外界相互作用的过程中所交换的内容的名称。 信息是物质和能量在时间和空间分布的不均匀性。 信息是事物运动状态或存在方式的不确定性的描述。 信息是用以消除随机不定性的东西。
哈特莱信息定义

哈特莱信息定义的局限性：
他所定义的信息不涉及内容和价值，只考虑选择的方式； 没有考虑到信源的统计性质； 把信息理解为选择的方式，就必须有一个选择的主体作 为限制条件。 这些缺点使它的运用范围受到很大的限制。
维纳信息定义
1948年，维纳在《控制论——动物和机器中通信 与控制问题》中给出了对信息的描述。指出： 信息是信息，不是物质，也不是能量。 1950年，维纳在《人有人的用处》一书中指出： 信息就是我们在适应外部世界，并把这种适应 反作用于外部世界的过程中，同外部世界进行交换 的内容的名称。 接收信息和使用信息的过程，就是我们适应外 界环境的偶然性的过程，也是我们在这个环境中有 效地生活的过程。
消息中包含信息，是信息的载体。 信息载体：信息必须依附于一定的物质形式存在，这种运 载信息的物质，称为信息载体。 同一信息可用不同的消息形式来载荷。 一则消息也可载荷不同的信息，可能包含丰富的信息，也 可能包含很少的信息。

香农信息定义
1948年，香农在发表的论文 《通信的数学理论》中， 从研究通信系统传输的本质出发，对信息做了科学的 定义，并进行了定性和定量的描述。 信息：是事物运动状态或存在形式的不确定性的描述。 通信系统中接受消息的过程就是消除不确定性的 过程。不确定的消除就获得了信息。 信息量与不确定性消除的程度有关。 信息的度量：信息熵。

维纳信息定义
意义： 信息是与物质和能量同等重要的最基本概念。 缺陷： 把信息与物质及能量混为一谈。

朗格信息定义
1975年，朗格在《信息论：新的趋势与未决问题》 中提出： 信息是反映事物的形式、关系和差别的东西。 信息是包含于客体间的差别中，而不是在客体 本身中。 意义： 信息就是差异。 缺陷： 没有指出没有差异就没有信息。
信赛 球赛情况 电视中的图像和声音 电信号 广播播放球赛 球赛情况 广播中的声音 电、声信号 网络转播球赛 球赛情况 计算机上的图像和声音 电信号 报纸刊登球赛 ……………. 信息 消息 信号
信息与消息的区分

消息：是指包含有信息的语言、文字和图像等，可 表达客观物质运动和主观思维活动的状态。