若 X x1, x2 ,, xn 和 Y y1, y2 ,, ym 两个矢量统计独 立，则
p y j / xi p y j ; p xi / y j p xy 2
, ,
y m

因此，乘法定理为
p xi y j p xi p y j
1.1 信息论的形成与发展



信息论的形成与发展
1952年，Fano和Huffman分别离散信源最佳编码方法 1959年，Shannon, 信源压缩编码理论，“Coding theorem for a discrete source with a fidelity criterion‖(保真度准则下的离散信源编码定理) 1961年，Shannon, ―双路通信信道”，多用户理论 1972年，Cover, 开始对广播信道进行研究
有关“信息”的一些基本概念（4）



1928年，美国数学家Hartley在BSTJ上发表论文“信息传输 ”，文中把信息理解为选择通信符号的方式，并用选择的自 由度来计量信息的大小 1948年，美国数学家Shanoon在BSTJ上发表论文 “A Mathematical Theory of Communication‖，深刻阐述了通信 工程中一系列基本理论问题，但没有给出信息的确切定义 1950年，美国数学家、控制论的主要奠基人Winner在出版 的《控制论与社会》中认为：信息是人与外界相互作用的过 程中所的内容的名称。这一定义未得到人们的认可。后来 Winner自己认识到：“信息既不是物质又不是能量，信息 就是信息”
信息论中的概率论基础

Bayes(贝叶斯)公式 p xi y j p xi / y j , p y j / xi p xi y j
p y j p xi y j , p xi p xi y j 其中 i j 数学期望

i
px y
n m n i 1 m i j 1 n j i 1 i j
p y
j 1
j
/ xi ,
p x y 1
m i 1 j 1 i j
——随机事件的完备性
信息论中的概率论基础

乘法定理
p xi y j p xi p y j / xi p y j p xi / y j
教学参考书
1、唐朝京、雷菁编著《信息论与编码基础》电 子工业出版社2010年版 2、余成波主编《信息论与编码》重庆大学出版 社2002年版 3、Ranjan Bose ―Information Theory, Coding and Cryptography‖机械工业出版社2003年影 印版
第1章 绪论

1.2 通信系统的模型


编码器——信源编码器、信道编码器、保密编码器
①信源编码——对信源输出的消息进行变换和处理 目的——提高信息传输的有效性

②保密编码——目的是保证信息的安全性 ③信道编码——对消息进行的变换和处理 目的——提高信息传输的可靠性
1.2 通信系统的模型

信道——信号从甲地传输到乙地的通道 狭义信道——信号的传输媒质(介)。[例] 明线、电缆、
i j j
p xi y j




若随机变量I(xi)发生的概率分布为p(xi)，则该随机变量 I(xi)的统计平均值称为随机变量I(xi)的数学期望，记为
E I ( xi ) p( xi ) I ( xi )
i
信息论中的概率论基础

Jensen(詹森)不等式 对于随机变(向)量 X，若有函数 f(X) 为上凸函数，则
1.2 通信系统的模型
通信系统模型方框图 信 源 编 码
信源
保 密 编 码
信 道 编 码
信道 噪声
信 道 译 码
保 密 译 码
信 源 译 码
信宿

本质——信息的传输系统 目的——把接收方不知道的信息及时、完整、安全、可靠、 经济地传送给指定的接收方
1.2 通信系统的模型

信源——发出载有信息的“消息”的源 （可以是人、生物、机器或其他事物，是 事物各种运动状态或存在状态的集合） 信宿——载有信息的“消息”的接收端 （消息传送的归宿）
1.1 信息论的形成与发展 1.2 通信系统的模型
有关“信息”的一些基本概念（1）


信息时代（Information Age）——德国社会学家R.布 吉顿斯坦对信息时代的定义是：“人们花费在个人交 往和信息交流的时间大大超出了消耗在工业产品生产 上的时间” 信息技术（Information Technology，IT）——凡是能 够用来扩展人的信息功能的技术都是信息技术；有关 数据与信息的应用技术。其内容包括：数据与信息的 采集、表示、处理、安全、传输、交换、显现、管理、 组织、存储、检索等

信息与消息、信号比较 消息是信息的数学载体、信号是信息的 物理载体 信号：具体的、物理的 消息：具体的、非物理的 信息：非具体的、非物理的
1.1 信息论的形成和发展

信息、消息、信号
——信息是抽象的、非物理的，是哲学层表达 ——消息是具体的、非物理的，可描述为语言文字、 符号、数据、图片，能够被感觉到，同时它也是信息 的载荷体。是信息论中主要描述形式 ——信号最具体，它是一物理量，可测量、可显示、 可描述，同时它又是载荷信息的实体，是信息的物理 层表达
信息论与编码
Information Theory and Coding
哈尔滨理工大学
电子信息工程专业
杨广学
2010年7月
课程简介


培养方案：与电路、电子技术、信号与系统、数字信 号处理、通信原理与系统以及单片机原理及应用等课 程同属于必修的学科基础课 本课程特点：本身理论性很强；涉及线性代数、概率 论与随机过程、抽象代数（近世代数）等数学理论 学习方法：课堂-多媒体教学，课后-多看书、写阅读笔 记、多做练习 考核的方式及成绩的评定 ：平时成绩30%（作业30%、 实验成绩30%、上课出勤40% ）、期末成绩70% 教材：曹雪虹 张宗橙编《信息论与编码（第2版）》， 清华大学出版社，2009年版

1.1 信息论的形成和发展

三大定理
– – –
无失真信源编码定理（Shanoon第一极限定理） 信道编码定理（ Shanoon第二极限定理） 限失真信源编定理（ Shanoon第三极限定理）

Shannon信息论：在噪声环境下，可靠地、安全地、 有效地传送信息理论 ----狭义信息论
1.1 信息论的形成和发展
信息可以被众多主体所共享 信息可以产生，也可以消失
– –
–
信息是可以度量的，信息量有多少的差别
1.1 信息论的形成与发展




信息论的发展过程 1924年，H. Nyquist， 信息率与带宽联系 1928年，R.V. Hartley, 引入非统计信息量 1936年，E.H. Armstrong， 带宽与抗干扰能力 1936年，H. Dudley, 发明声码机 40年代初，N. Wiener, ―控制论” 1948年， ―信息论”发展史的里程碑 C.E.Shannon, “ A Mathematical Theory of communication ‖, Bell System Tech., J, vol.27, PP 379-423, July 1948 50年代开始，IRE成立信息论组，出版信息论汇刊
有关“信息”的一些基本概念（2）


信息科学（Information Science）——对获取信息并对 其进行传输、交换、处理、检测、识别、存储、显示 等操作的科学研究 信息论（理论）（Information Theory）——是应用近 代概率统计方法来研究信息传输、交换、存储和处理 的一门学科。是源于通信实践发展起来的一门应用学 科
波导、光纤、无线电波空间等

广义信道——除狭义信道外，还包括通信系统某些部 分

信道噪声——通信系统各处干扰、噪声的集中等效体 现
1.2 通信系统的模型
译码器——编码器功能之反 也分成信源译码器、信道译码器、保密译码器三种 [对通信系统模型的说明] ①对实际通信系统，还应包括换能、调制、发射等各 种变换处理 ②上述模型只针对一对一单向通信系统。还有一对多 单向系统（广播），一对一双向系统（电话），多对 多双向系统（会议电视）等
有关“信息”的一些基本概念（3）



信息（INFORMATION)——信息一词来源于人们的 通信实践活动，在日常生活中，信息是指“消息”、 “情况”、“知识”、“情报”等等 信息是一个十分抽象而又复杂的概念。至今为止，尚 无一个能被普遍认可的定义。因为“信息”是一个非 常高层次的概念 目前比较被人们认同的定义：认识主体（人，生物和 机器）所感知的或所描述的相应事务的运动状态及其 变化方式
有关“信息”的一些基本概念（5）

信息的特征
–
信息来源于物质，但又不是物质本身，它从物质的运动中产生出来， 又可以脱离源物质而相对独立地存在 信息来源于精神世界，但又不限于精神领域 信息与能量息息相关，但又与能量有本质的区别 信息具有知识的本质，但比知识的内涵更广泛
– – –
–
信息是具体的，并且可以被信息主体所感知、提取、识别，可以被传 递、存储、变换、处理、显示、检索和利用
f E X E f X
参阅：傅祖芸编著《信息论——基础理论与应用》中， 附录A. p.422
练习题



包装好的玻璃器皿第一次落地摔碎的概率为0.4，若未碎第 二次落地摔碎的概率为0.6，若仍未碎第三次落地摔碎的概 率为0.9，求落地3次打破的概率。 对以往数据分析的结果表明，当机器调整的良好时，产品 的合格率为90%，而当机器发生某一故障时，其合格率为 30%，每天早晨机器开动时，机器调整良好的概率为75% ，试求某日早上第一件产品是合格品时，机器调整的良好 的概率是多少？ 甲乙两人进行打靶，甲击中靶心的概率为0.6，击中靶子边 缘的概率为0.3，脱靶的概率为0.1，乙击中靶心的概率为 0.5，击中靶子边缘的概率为0.4，脱靶的概率为0.1，试评 定甲乙二人的成绩好坏。