信息论基础—绪论
Contents
1 信息论简介1
1.1 什么是信息？. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 信息的特性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.3 信息、消息、信号之间的关系. . . . . . . . . . . . . . . . . . . . 2
1.4 通信系统模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.5 通信系统详细模型. . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.6 什么是信息论？. . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.7 信息论研究的对象. . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.8 信息论的分支. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.9 信息论的应用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2 信息论的发展历史5
3 通信的历史6
1 信息论简介
1.1 什么是信息？
•通俗地说：信息是一种消息。
•广义地说：信息是对物质存在和运动形式的一般描述。
信息存在于客体间的差别中而不是客体本身中。
•狭义地说：信息是为了消除不确定性所必须获得的东西。
1.2 信息的特性
•信息是无形的。
•信息是可共享的。
•信息是无限的。
•信息是可度量的。
1
1.3 信息、消息、信号之间的关系
•消息是信息的载荷者。
消息具有不同的形式：语言、文字、符号、数据、
图片等。
•构成消息要两个条件：
–能被通信双方所理解
–可以在通信中传递和交换
•同一消息对不同的客体来说可以含有不同的信息量；同一信息可以用不同形式的消息来载荷。
•信号是消息的表现形式，消息是信号的具体内容。
•信号是表示消息的物理量，包括声波、光波、电信号、机械信号等。
1.4 通信系统模型
Figure 1: 通信系统基本模型
信源产生消息的源
编码器包括信源编码器、信道编码器和调制器
信道传送消息的媒质或通道
译码器包括解调器、信道译码器和信源译码器
信宿消息的接收者
干扰源将整个系统中各部分所产生的噪声和干扰都等效成信道干扰，并集中作用于信道
2
3
Figure 2: 通信系统详细模型
1.5 通信系统详细模型 1.6 什么是信息论？
The fundamental problem of is that of reproducing at one point either ex- actly or approximately a message selected at another point. (Claude Shannon, 1948)
• 信息论是数学的一个分支学科。
• 信息论应用于通信、计算机、保密、金融等众多的领域。
• 香农于 1948 年发表的、被认为是信息论创立标志的论文的标题就是：A Mathematical Theory of Communication （通信的数学理论）
Figure 3: Claude Elwood Shannon (1916 - 2001)
Figure 4: 信息论的概念
1.7 信息论研究的对象
•信息论主要研究随机事件不确定性的度量。
•就通信领域而言，信息论用于回答下述三个通信的基本问题：
1. 对一个信源输出的数据进行数据压缩时，压缩率的极限值是多少？
2. 通过一个有噪声的信道能够以多大的速率可靠地传输数据？
3. 当速率受限时，我们表示一个对象能够实现多大的精度？
•通过对上述三个问题的研究，香农得到了三个定理，这三个定理就构成了传统狭义信息论：Source Coding Theorem, Channel Coding Theorem, Rate
Distortion Theorem.
1.8 信息论的分支
1.9 信息论的应用
•语音信号压缩（G.711, GSM, V ocoder . . .）
•音频信号压缩（MP3）
•图象信号的压缩（JPEG, MPEG . . .）
•计算机文件压缩（compress, gzip, WinRAR, 7zip . . .）
•纠错编码（汉明码、网格编码、卷积码等）
•通信（深空通信、Modem、HDLC . . .）
•其他（信息经济学等）
4
Figure 5: 信息论的分支
2 信息论的发展历史
1924 H.Nyquist 开始分析电报信号传输中脉冲速率与信道带宽的关系
1928 R.V.L.Hartley 提出信息应该由随机事件样本空间中元素的个数的对数值来衡量
1930 N.Wiener 开始把傅立叶分析方法全面引入随机时间信号的研究中来
1936 E.H.Armstrong 提出频率调制
1939 H.Dudley 发明了声码器
1948 N.Wiener 发表《控制论》
1948 C.E.Shannon 发表《通信中的数学理论》
1949 C.E.Shannon 发表《保密系统中的通信理论》
1952 D.A.Huffman 提出了Huffman 编码
1954 P.Elias 提出了卷积码
1959 S.K.Kullback 提出了鉴别信息的概念
1961 C.E.Shannon 提出了多用户信息论
1963 P.Elias 提出了算术编码
1965 A.N.Kolmogorov 提出了通用编码
1982 G.Ungerboeck 实现了网格编码调制
1993 Turbo 码的性能已经非常接近于理论极限
5
6
3 通信的历史
• 吼
• 鼓、锣（击鼓进军、鸣金收兵） • 烽烟 • 旗语、灯语
• 摆臂式信号机（Semaphores ），1792-1880 • 书信（驿送、信鸽、信狗） • 广播、电视
• 电报（有线、无线），1837-2006
• 电传打字机（TeleTypewriter ），1849-1960s • 电话（有线、无线） • 卫星 • 互联网
Figure 6: 摆臂式信号机
The End of Chapter 1.
7。