2020/11/24
7
信道及信道容量
m
其中，0 P(y j / xi ) 1且 P(y j / xi ) 1 i 1,2,, n j1
2020/11/24
8
信道及信道容量
例1
1 p p
P(Y / X)
p
1 p
例2P(Y/源自X)1 1 1
2
2 2
1
1
1
2
2020/11/24
17
信道及信道容量
5、平均互信息量的主要性质 ①对称性
I(x2 1; y1 0) log P(y1) log P(y1 / x2) log 0.55 log 0.25
1.138(bit )
2020/11/24
12
信道及信道容量
3、平均互信息量
定义
各互信息量的数学期望，也叫交互熵，用I(X;Y)表 示
表示
nm
I(X; Y) E[I(xi ; y j )]
i1 j1
i1 j1
H(X) H(X / Y)
条件熵H(X/Y)是用反信道矩阵形式表示的信道给 出的平均信息量——损失熵或信道疑义度
2020/11/24
15
信道及信道容量
H(X)
H(Y/X) I(X;Y) H(X/Y)
H(Y)
➢以信宿为参考，利用信宿的信息熵和信道的 噪声熵来度量信道中传输的平均信息量
2020/11/24
2
信道及信道容量
信源
编码
信道
译码
信宿
噪声
信道——传输信号的媒介，信道中通常引入噪声 狭义信道——信号的传输媒介
➢有线信道——电线、电缆、光缆 ➢无线信道——电磁空间——地波传播、天 波传播、视线传播
2020/11/24
3
信道及信道容量
广义信道——包括调制解调、收发转换装置的信道
调制 发转调换制信道媒编介码信道收转换 解调
➢调制信道——连续信道 ➢编码信道——离散信道
2020/11/24
4
信道及信道容量
一、单符号离散信道及信道容量
1、单符号离散信道
定义
对应于单符号离散信源和单符号离散信宿的信道
表示
信源——离散型随机变量X 信宿——离散型随机变量Y
2020/11/24
5
信道及信道容量
9
信道及信道容量
2、互信息量 信源发出消息xi而信宿接收到消息yj，信宿消息yj 所含信源消息xi的信息量
定义
信宿消息yj的概率P(yj)与信源发出消息xi而信宿接 收到消息yj的转移概率P(yj /xi )之差对数的负值， 用I(xi;yj) 表示
2020/11/24
10
信道及信道容量
表示
I(xi ;
➢以信源为参考，利用信源的信息熵和信道的 损失熵来度量信道中传输的平均信息量
平均互信息量I(X;Y)——信息传输率R
2020/11/24
16
信道及信道容量
n
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / xi )
n
i1
m
P(x i y j ) log
P(xi y j )I(xi ; y j )
i1 j1
nm
nm
P(x i y j ) log P(y j )
P(x i y j ) log P(y j / x i )
i1 j1
i1 j1
2020/11/24
13
信道及信道容量
n
nm
P(y j ) log P(y j )
P(x i y j ) log P(y j / x i )
信道及信道容量
第3章 信道及信道容量
教学内容和要求
➢掌握单符号离散信道及平均互信息量，理解其 性质
➢掌握m=n信道、对称信道和准对称信道的信道 容量
➢了解多符号离散信道，掌握N次扩展信道及信道 容量
2020/11/24
1
信道及信道容量
➢掌握单符号连续信道及平均互信息量，理解其性 质 ➢掌握高斯加性信道的信道容量和最大信息传输速 率 ➢了解多符号连续信道及信道容量
j1
i1 j1
H(Y) H(Y / X)
平均互信息量I(X;Y)反映信道每传输一条消息所携 带的平均信息量，不反映信宿收到某条消息所含信 源发出某条特定消息的信息量
4、平均互信息量的意义
I(X;Y) H(Y) H(Y / X)
条件熵H(Y/X)是信道给出的平均信息量——噪声 熵或信道散布度
2020/11/24
14
信道及信道容量
n
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / xi )
n
i1
m
P(x i y j ) log
j1
P(xi ) P(xi / y j )
nm
nm
P(x i y j ) log P(x i )
P(x i y j ) log P(x i / y j )
设X {x1, x 2 ,, x n } P(X) {P(x1 ), P(x 2 ),, P(x n )} 随机变量X的取值xi为信源发出的消息 i=1,2,…,n 设Y {y1, y2 ,, ym}，通常m n P(Y) {P(y1 ), P(y2 ),, P(ym )} 随机变量Y的取值yj为信宿收到的消息 j=1,2,…,m
j1
P(xi )P(y j ) P(xi y j )
nm
nm
P(x i y j ) log P(x i )
P(x i y j ) log P(y j )
i1 j1
i1 j1
nm
P(x i y j ) log P(x i y j )
i1 j1
H(X) H(Y) H(XY)
2020/11/24
X P(Y/X) Y
2020/11/24
6
信道及信道容量
x1
P(y1/x1)
y1
x2
P(y2/x2)
y2
…
…
…
P(ym/xn)
xn
ym
P(y1 / x1) P(y2 / x1) P(ym / x1)
P(Y
/
X)
P(y1 / x2
)
P(y2 / x2)
P(
ym
/
x
2
)
P(y1 / xn ) P(y2 / xn ) P(ym / xn )
y
j)
log
P(y j) P(y j / xi
)
log
P(y
j
)
log
P(y
j
/
xi
)
2020/11/24
11
信道及信道容量
例3
信源P(XX)
0 0.4
1 0.6
Z信道P(Y / X)
1 0.25
0 0.75
信宿消息0所含各信源消息的互信息量
P(y1 0) 0.4 1 0.6 0.25 0.55 I(x1 0; y1 0) log P(y1) log P(y1 / x1) log 0.55 log 1 0.862(bit )