取样点数
n = 2WoT ¢
»单位时间内所包含的最大时间熵
( ) 2W0T ¢ln s
( ) Htm =
T¢
2p e
= W0 ln 2pes 2
»设任意一个随机过程的时间熵和频带 都与一个白色高斯噪声相同，则其等效 白色噪声功率为
N = 1 eHtm W0
2p e
N-N N
随机过程连续消息的冗余度
重庆大学通信工程学院
XY
联合空间XY上的每个元 素对xy的自信息量的概率 加权平均值。
H XY P xy I xy
XY
关系
H XY H X H Y | X
重庆大学通信工程学院
数字通信原理
7.平均互信息量
I X ; yj P x | yj I x; y j
X
X
P
x
|
y
j
log
CCEE
第二章 信道与干扰
数字通信原理
主要内容
数字通信原理
2.1 信息论初步 2.2 信道的基本概念 2.3 信号通过线性时不变系统 2.4 白噪声
2.5 变参信道及其对信号传输的影响
重庆大学通信工程学院
2.1 信息论初步
数字通信原理
1 信息论概述 2 信息的度量 3 离散信源与连续信源 4 信道容量与香农公式 5 信道编码
重庆大学通信工程学院
离散信源与连续信源
数字通信原理
产生离散消息的信源称为离散信源，其统计特性用离 散型随机过程描述； 产生连续消息的信源则称为连续信源，其统计特性用 概率密度函数描述。
重庆大学通信工程学院
离散信源
通信原理
离散消息xi所携带的信息量：
◆ 当离散信源中各符号等概率出现，而且各符号 的出现为统计独立时，该信源的平均信息量最大。
最佳调制和最佳接收方法的最佳系统的理
论原则。
重庆大学通信工程学院
数字通信原理
信源
信源所包含的信息量，以及在单位时间 内信源发出的信息量（信息熵）
信源编码
使信源发出的消息变换成其码长度与信 源各消息概率分布达到匹配的代码组，
以提高传输消息的有效性
信宿
在无扰信道和有扰信道上信宿能收到的 信息量的多少
信道
H max
N
i 1
1 N
log
1 N
log N
◆ 相对熵：
H H max
◆ 信源的冗余度： 无用信息比例
R 1 H H max
电子工业出版社
连续信源
通信原理
◆ 连续信源产生的是连续消息。 ◆ 连续消息：实际上是一个统计过程X(t)。
连续消息信号一维概率密度
px
定义连续消息的平均信息量
推广
发送离散消息
信道传输信息量的能力（信道容量）， 并叙述了有扰离散信道的信道编码定理
各种纠错编码方式的数学理论、纠错能
信道编码
力和实施方案
重庆大学通信工程学院
2.1 信息论初步
数字通信原理
1 信息论概述 2 信息的度量 3 离散信源与连续信源 4 信道容量与香农公式 5 信道编码
重庆大学通信工程学院
通信原理
1. 自信息量 2. 互信息量
P
x| yj
Px
XY联合集上的平均条件互信息量满足： I X ; yj 0
当且仅当X集合中的各个x都与yj互相独立，即 P(x|yj)=P(x)时，才取等号。
重庆大学通信工程学院
2.1 信息论初步
数字通信原理
1 信息论概述 2 信息的度量 3 离散信源与连续信源 4 信道容量与香农公式 5 信道编码
I
xi ; y j
log
P
xi
P
| yj
xi
◆ 两个随机变量
—— 发生事件X —— 观察事件Y
»条件概率： »事件Y=yj 出现时，事件X=xi 发生的概率
»先验概率： »事件X=xi 发生的概率
电子工业出版社
数字通信原理
I
xi ; y j
P log
xi | y j
P xi
途径二
信道设计 香农 和编码理
论
重现正时延 的原信号
信源和信道的统计特性及 编码方法，目的是提高信息 传输的效率和可靠性。
重庆大学通信工程学院
信息论研究的主要内容
数字通信原理
» 有关信源、信宿和信道的统计特性 » 信源编码和信道编码
信息论对通信体制和通信系统的研 究具有指导意义。
» 信息论在理论上指出了建立最佳编码、
重庆大学通信工程学院
2.1 信息论概述
通信原理
信息论的两条发展途径
研究对象
噪声对接收端重现原信号的影响
1. 维纳的微弱信号检测理论
代人2表物. 香农理的论信道设研计究和侧重编码理论
应用
» 维纳和香农都认为信号和噪声均可用 途径一 规数尽定学可维纳集模能合型地微检的不重弱测统 相 现信理计同原号 论规。信律目号自 程预中动来的。测的控描都问信制题述是号过，要但在接导对在收航抗探接干问、等讨收扰题遥的的端，作测理它用、论是下遥基通信控础信号以。、的及雷最电达佳子、
结论
数字通信原理
1. 在平均功率受限制的信道上，最有效的信 号形式是统计特性与正态分布的白色噪声 相同的信号，这种信号能使连续消息的熵 达到最大值——用伪随机序列和伪白色噪 声传输信号。
2. 信道上的白色高斯噪声，对信号传输造成 的危害最大——有扰信道上的白色高斯噪 声的噪声熵最大，信道上传输的信息量则 相应减小。
情况
条件概率
信息量
随机变量X 和Y
统计独立
P xi yj P xi
I xi; yj 0
事件Y=yj 的出 现唯一地决定事
件X=xi 的发生
P xi yj 1
I
xi ; y j
log
P
1
xi
log
P
xi
——X=xi 的自信息量 I(xi )
3.条件自信息量
I xi yj log P xi yj
H
X
p
x
log
p
x
dx
xi
接收消息
yj
在x,y全部幅度上 的平均信息量
I
X ;Y
p xylog
p xy px py
dxdy
非负量
电子工业出版社
连续信源
数字通信原理
随机过程平均功率 s 2 »各样点上的取样值互相独立，正态分布
( ) 一个样点的最大熵 Hmax = ln s 2pe
随机过程的频谱［0，W0］,持续时间T’
重庆大学通信工程学院
信源编码
数字通信原理
◆ 信源编码的目的： - 把信源发出的符号消息（或数字消息）变换为用
能在规定条件下唯一地确定该事件必须提供的信息量。 重庆大学通信工程学院
数字通信原理
Hale Waihona Puke 4.通信熵 5.条件熵H X P x log P x
X
6.共熵
二维联合空间XY上的条件 自信息量的概率加权平均值。
H Y | X P xy I y | x
XY
联合概率
H Y | X P xy log P y | x