信息论基础发展史
信息论（information theory）是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。

是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。

信息传输和信息压缩是信息论研究中的两大领域。

这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

信息论从诞生到今天，已有五十多年历史，是在20世纪40年代后期从长期通讯实践中总结出来的，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。

它是在长期的通信工程实践和理论研究的基础上发展起来的。

通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。

电的通信系统(电信系统)已有100多年的历史了。

在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。

当法拉第(M．Faraday)于1820年--1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。

1876年，贝尔(A．G．BELL)又发明了电话系统。

1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(H．Hertz)用实验证明了这一预言。

接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A．C．ΠoΠoB)就发明了无线电通信。

本世纪初(1907年)，根据电子运动的规律，福雷斯特(1，Forest)发明了能把电磁波
进行放大的电子管。

之后很快出现了远距离无线电通信系统。

大功率超高频电子管发明以后，电视系统就建立起来了(1925—1927)。

电子在电磁场运动过程中能量相互交换的规律被人们认识后，就出现了微波电子管(最初是磁控管，后来是速调管、行波管)，接着，在三十年代末和四十年代初的二次世界大战初期，微波通信系统、微波雷达系统等就迅速发展起来。

五十年代后期发明了量子放大器，六十年代初发明的激光技术，使人类进入了光纤通信的时代。

现代信息论实际是从20世纪20年代奈奎斯特（H.Nyquist）和哈特莱（L.V.R.Hartley）的工作中开始的.在1832年莫尔斯电报系统中高效率编码方法对后来香农的编码理论是有启发的。

1885年凯尔文(L.Kelvin)曾经研究过一条电缆的极限传信率问题。

1922年卡逊(J．R．Carson)对调幅信号的频谱结构进行了研究，并建立了信号频谱概念。

1924年奈奎斯特(H．Nyquist)指出，如果以一个确定的速度来传输电报信号，就需要一定的带宽。

他把信息率与带宽联系起来了。

1928年哈特莱(R．V．Hartley)发展了奈奎斯特的工作，并提出把消息考虑为代码或单语的序列。

他的工作对后来香农的思想是有影响的。

香农被称为是“信息论之父”。

人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。

论文中系统地提出了关于信息的论述，创立了信息论。

他为解决通讯技术中的信息编码问题，把发射信息和接收信息作为一个整体的通讯过程来研究，提出通讯系统的一般模型；同时建立了信息量的统计公式，奠定了信息论的理论基础。

信息科学是以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具，以扩展人类的信息功能为主要目标的一门新兴的综合性学科。

信息科学由信息论、控制论、计算机科学、仿生学、系统工程与人工智能等学科互相渗透、互相结合而形成的。

信息的产生和发送者称之为信源，信源要将输出的消息通过某种通讯渠道传输给成为信宿的接受者。

我
们称信源发出的信息为消息，这里并不考虑其内涵的语义信息，而只考虑它的统计特性，通信的主要目标之一是是接收端能尽可能准确地复制信源发送的消息。

一般说来，信息可以界定为由信息源（如自然界、人类社会等）发出的被使用者接受和理解的各种信号。

作为一个社会概念，信息可以理解为人类共享的一切知识，或社会发展趋势以及从客观现象中提炼出来的各种消息之和。

信息并非事物本身，而是表征事物之间联系的消息、情报、指令、数据或信号。

一切事物，包括自然界和人类社会，都在发出信息。

我们每个人每时每刻都在接收信息。

在人类社会中，信息往往以文字、图象、图形、语言、声音等形式出现。

就本体论意义而言，信息是标志事物存在及其关系的属性。

但这样的描述难以将信息定量化，就认识论意义。

[
信息量是信息论中量度信息多少的一个物理量。

它从量上反映具有确定概率的事件发生时所传递的信息。

用H（x）表示为信息熵，是信源整体的平均不定度。

而用I（p）表示为信息，是从信宿角度代表收到信息后消除不定性的程度，也就是获得新知识的量，所以它只不在信源发出的信息熵被信宿收到后才有意义。

在排除干扰的理想情况下，信源发出的信号与信宿接收的信号一一对应，H （x）与I（p）二者相等。

信息的量度与它所代表的事件的随机性或各外事件发生的概率有关，当事件发生的概率大，事先容易判断，有关此事件的消息排队事件发生的不确定程度小，则包含的信息量就小；反之则大。

从这一点出发，信息论利用统计热力学中熵的概念，建立了对信息的量度方法。

在统计热力学中，熵是系统的无序状态的量度，即系统的不确定性的量度。

信息论是研究信息的产生、获取、变换、传输、存贮、处理识别及利用的学科。

信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容。

信息论还研究语义信息、有效信息和模糊信息等方面的问题。

信息论有狭义和广义之分。

狭义信息论即申农早期的研究成果，它以编码理论为中心，主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等。

广义信息论又称信息科学，主要研究以计算机处理为中心的信息处理的基本理
论，包括评议、文字的处理、图像识别、学习理论及其各种应用。

广义信息论则把信息定义为物质在相互作用中表征外部情况的一种普遍属性，它是一种物质系统的特性以一定形式在另一种物质系统中的再现。

广义信息论包括了狭义信息论的内容，但其研究范围却比通讯领域广泛得多，是狭义信息论在各个领域的应用和推广，因此，它的规律也更一般化，适用于各个领域，所以它是一门横断学科。

广义信息论，人们也称它为信息科学。

信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。

它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。

信息科学在安全问题的研究中也有着重要应用。

信息的不断革命，使得整个人类世界发生了巨大的变化。

尤其是电子计算机和现代通讯技术在信息工作中的应用。

电子计算机和现代通讯技术的有效结合，使信息的处理速度、传递速度得到了惊人的提高；人类处理信息利用信息的能力达到了空前的高度。

人类社会步入了所谓的信息社会。