信息论与编码基础
离散信道
一、信道疑义度与平均互信息
二、信道容量
•信道模型 •信道疑义度 •平均互信息及其性质
三、有噪信道编码定理
信息论与编码基础
ห้องสมุดไป่ตู้
离散信道
➢互信息
自信息 l o g 1
log1
P (a lo
P(ai)
条件自信息 lo g
i) 1
P(
g P(ai
|bj)
I (ai ;b
1）对称性
j
1
1
P (xy)lo g P (xy)lo g
X Y
P (x) X Y
P (x|y)
P(xy)logP(x| y) 互信息
XY
P(x)
信息论与编码基础
离散信道
➢平均互信息
I(X ;Y ) H (X ) H (X |Y )
平均互信息是 互信息的统计 平均值。
P(xy)logP(x| y)
H (X|bj) P (ai|bj)loP g (ai|bj) 后验熵
信道疑义度
i 1
s
H (X|Y )E [H (X|bj) ] P (bj)H (X|bj)
损失熵
js1P(bj)i r1P(a j i1 |bj)loP g (a1 i|bj)
r s
1
i1
j1P(aibj)loP g(ai |bj)
一、信道疑义度与平均互信息
二、信道容量
•信道模型 •信道疑义度 •平均互信息及其性质
三、有噪信道编码定理
信息论与编码基础
离散信道
➢互信息
由于条件引入获得的信息量
I (ai ;bj )
log 1 log 1 logP(ai|bj)
P(ai) P(ai|bj)
P(ai)
1）对称性 I(ai;bj) = I(bj;ai) 2）事件统计独立时
I(ai;bj) = 0 3）可正、可负
4）I(ai;bj) ≤ I(ai)
信息论与编码基础
离散信道
➢平均互信息
不获确得定信信性息息消量传除的输的大率多小少
定义 令 I(X ;Y ) H (X ) H (X |Y ) bit/sig
为信道输入X与输出Y之间的平均互信息
接I( 收X 到;Y 每) 个 X 输P 出(x 符)lo 号g 后P ( 1 获x )得 X 的YP 关(于x y ) Xl的o g 平P ( 均x 1 |信y ) 息量
高斯噪声信道
变参信道 短波信道 非高斯噪声信道
信息论与编码基础
➢离散信道的数学模型
离散信道
X
X (X1,X2,...,XN) Xi :(a1,a2,...,ar)
信道
P(y| x)
Y
Y (Y1,Y2,...,YN ) Yi :(b1,b2,...,bs)
{X,P(y|x),Y}
无扰（无噪）信道
P(y| x)10,,yyff((xx))
抽烟，y＝0表示抽烟，y＝1表示不抽烟。
（1）若（x，y）的联合概率分布如表1－1所示，求
“已知抽取人为男性”，对“该人抽烟”提供的
信息量。 表1－1（x，y）的联合概率分布 x＝0 x＝1
表1－2（x，y）的联合概率分布
x＝0 x＝1
y＝0 0.06 0.04 y＝1 0.54 0.36
y＝0 0.6 0.04 y＝1 0 0.36
X a00
. . . .
Y
1-p p
b00
Pr
1
Pr 2
...
Prs
s
Pij 1(i 1,2,..r.)
P(bj|ai) p
1
1
ar
1-p
bs
j0
信息论与编码基础
➢单符号离散信道
例2 二进制删除信道
一定比例的bit被删 除，并且接收者知 道是那些bit已经被 删除。
P
p 0
1 p 1q
0 q
离散信道
无记忆信道
有扰信道
N
P (y|x)P (y1...yN|x1...xN ) P (yi|xi)
有记忆信道
i 1
信息论与编码基础
离散信道
➢单符号离散信道
X
X:(a1,a2,...,ar)
信道
P(y | x)
Y
Y:(b1,b2,...,bs)
例1 BSC信道
BSC(p)信道是实际中几乎所有重要的二进制脉冲传输系统的模型 p为交叉(crossover)概率等于解调器/检测器出现硬判决译码错 误的概率
信息论与编码基础
离散信道
➢单符号离散信道
•条件转移概率
P ( y |x ) P ( y b j|x a i) P ( b j|a i) P i(j i 1 ,2 ,.r .;.j ,1 ,2 ,.s .).,
•转移矩阵
•转移概率图
P11 P12 ... P1s
P
P21
P22
...
P2
s
)
a
1
i
|
b
j
)
由于条件引入获得的信息量
I(ai;bj
)
logP(ai |bj P(ai)
)
2）事I(Ia(件ia;bi;统jb)j)计==I独(0b立j;ai时) 3）可正、可负 4）I(ai;bj) ≤ I(ai)
练习：
令随性信机，变x息＝量1论x为表女与示性随编。机随码抽机取基变人量础群y中表的示随性机别抽，取x＝人绪0为是论否男
信息论与编码基础_教学课件
信息论与编码基础
离散信道
➢信道的分类
•根据信道转移概率的性质
无扰信道
有扰信道
无记忆信道
实际的通信信道几乎都是有扰信道
有记忆信道
•实信按际道信信中道道的一惯统般性计都，特是如有电性记缆忆信的道，中信的•根道电中感据的或信记电道忆容现、噪象无声来线的源信于道性物中质理电
波传播的恒衰落参现信象道等。卫星信道
XY
P(x)
P(xy)log P(xy)
XY
P(x)P(y)
P(y| x)
P(xy)log
XY
P(y)
信息论与编码基础
离散信道
1、非负性
I(X ;Y ) H (X ) H (X |Y ) XYP(xy)logP(Px()xP(y)y)
利用詹森不等式
I信(X源;Y) X加Y P (密x)y loP 信g (P x()道x P ()y y) 解密
信息论与编码基础
离散信道
一、信道疑义度与平均互信息
二、信道容量
•信道模型 •信道疑义度 •平均互信息及其性质
三、有噪信道编码定理
信息论与编码基础
离散信道
0≤H(X|Y)≤H(X)
先验熵
H (X ) XP (x )lo P (x g ) i r1P (a i)lo P (1 g a i)
若信道中存在干扰时 r
（2）若（x，y）的联合概率分布如表1－2所示，求 “已知抽取人为男性”，对“该人抽烟”提供的 信息量。
信息论与编码基础
本课小结
1、信道模型 BSC, BEC 2、信道疑义度、互信息
离散信道
信息论与编码基础
离散信道
一、信道疑义度与平均互信息
二、信道容量
三、有噪信道编码定理
信息论与编码基础
离散信道