N
I ( X ; Y ) NC
N N
可加噪声信道

p(y|x)=p(y-x)=p(z)
x z y=x+z
H c (Y | X ) (Y ) H c (Z )
信道容量为对于所有的输入分布求H(Y)的最大值
可加噪声信道

高斯噪声信道
2 x 2 z
i
Q p( j | i)
信道容量

定义4.2.3 离散无记忆信道的信道容量定义 为：
C max I ( X ; Y )
{Qk }
即C为改变输入分布时，使每个符号所能含有 的平均互信息量的最大值。相应的分布称为 最佳分布。
信道容量表示了信道传送信息的最大能力
定理4.2.1
I ( X ; Y ) I ( X n ; Yn )
和信道


单位时间内可随机选用信道1和信道2中的一个，选 用信道1的概率为p1，选用信道2的概率为p2， p1＋p2 ＝1 输入空间X=X1+X2， Y=Y1+Y2，
I ( X ; Y ) I ( X 1 ; Y1 ) p1 I ( X 2 ; Y2 ) p2 H ( P) C log2 [2C1 2C2 ] N Cn C log 2 n 1 pn 2 C C n
p( yn j | xn k ) p( ym j | xm k )
例：二元对称信道

p=0.1
0
p p 1 1-p 1 1-p 0
信道容量
K 1 J 1 k 0 j 0
I ( X ; Y ) Qk p( j | k ) log K 1
i 0
p( j | k )
E[ x 2 (t )dt] ST
0
T
波形信道
x1 y1=x1+z1 Z1（高斯随机变量） x (t )
波形信道
y(t)=x(t)+z(t)
x2
y2=x2+z2 z2 （高斯随机变量）
z(t)(白高斯过程)
……
可加波形信道
2S n 1 I ( X ; Y ) I ( X n ; Yn ) log(1 ) N0 n 1 n 1 2
该信道称为准对称信道


对称DMC容量的计算
定理4.2.3 实现准对称DMC信道容量的输入 分布为等概分布 J 1 p( j | k ) I ( x k ; Y ) p ( j | k ) log K 1 1 j 0 p( j | i) K i 0 YS：子 p ( j | k ) 阵中每 p ( j | k ) log K 1 1 s jYS 一列都 p( j | i) K i 0 是第一
Sn 1 1 B C log(1 2 ) log 2 2 n n n 1 2 n: n B 2
N
S
n 1
N
n
E, Sn B
2 n
注水定理的说明



积信道 当各分信道的干扰功率不等，需要对输入信号 总能量进行适当分配 比较门限B 迭代算法
4.5 波形信道
在给定输入分布下，若某个输入k与所有输出事件之 间的平均互信息量大于其它任何输入与所有输出之间 的平均互信息，则可以通过经常的采用该特定输入k 增大I(X ; Y)
对称DMC容量的计算

信道转移概率矩阵
p(1| 0) ... p( J 1| 0) p(0 | 0) p(0 |1) p (1|1) ... p ( J 1|1) P { p( j | k )} p(0 | K 1) p(1| K 1) ... p( J 1| K 1)



二元纯删除信道: C=1-q
离散无记忆模K加性噪声信道

Z=X=Y={0,1,…,K-1} y=x+z mod K
H (Y | X ) Q( x) p( y | x) log p( y | x)
x, y
Q( x) p( z ) log p( z )
x, z
H (Z ) C log K H ( Z )
0
T
x ( x1 , , x N ), y ( y1 , , y N )
可加波形信道
I T [ x(t ); y (t )] lim I ( x; y )
N
I ( x; y ) log
Q
p N ( y | x)
N
( x) p N ( y | x)dx
N N
I T [ X (t );Y (t )] lim I ( X ; Y )
2 1/ 2
(1
P

1/ 2 ) 2
一般DMC的容量计算

信道转移矩阵是非奇异方阵，假定所有Qk>0
K 1 k 0
j Qk p( j | k ) j 0,1,...,K 1
p( j | k ) log p( j | k ) p( j | k ) log
j 0 j 0 J 1 j 0 J 1 j 0 j
对称DMC容量的计算

若信道转移概率矩阵所有行矢量都是第一行 的置换，称为关于输入对称。
J 1 j 0
H (Y | X ) H (Y | x) p( j | k ) log p( j | k )
对称DMC容量的计算


P的所有列都是第一列的一种置换，关于 输出是对称的 当输入事件等概，Qk=1/K
C log 2
j
4.3 信道的组合
积信道

X1
信道1 P(j|k)
Y1

X2 信道2 P(j‘|k’)
Y2

C1＝maxI(X1;Y1) C2＝maxI(X2;Y2) 信道1和信道2同时传 递消息，输入集 X=X1×X2,输出集 Y=Y1×Y2,转移概率 p(jj’|kk’)=p(j|k)p(j’|k’) C=C1+C2
N N N N
N 2ST max I ( X ; Y ) log(1 ) 2 N0 N
N N
N 2ST CT log(1 ) 2T N0 N
Shannon公式

N=2WT
S C W log(1 ) N 0W C 1.44( S / N 0)
W趋于无穷大， 单位时间的信 道容量 Shannon极限 -1.59dB
J 1
J 1
j
C k 0,1,...,K 1 k 0,1,...,K 1
p( j | k )[C log ] p( j | k ) log p( j | k )
一般DMC的容量计算
j C log j j 2
j C

j
j
1
j
N N n 1
N
I ( X ; Y ) NC
N N
对于DMC，N长序列的信息传输问题可以归结 为单个符号的信息传输问题
定理4.2.2

Q={Q0,Q1,…,QK-1}达到信道容量的充要条件
I ( x k ; Y ) C Qk 0 I ( x k ; Y ) C Qk 0

输入信号平均功率不超过S的时间离散信 道容量定义为：
1 C sup I ( X N ;Y N ) N ,N ( S ) N

无记忆平稳条件下
C max I ( X ; Y )
(S )
平均功率受限的时间离散、恒参、 可加高斯噪声信道容量
1 S C log(1 2 ) 2
最佳输入分布是均值为0，方差为S的高斯 型分布
第四章 信道及其容量
信道及其容量

4.1信道分类 4.2离散无记忆信道 4.3信道的组合 4.4时间离散的无记忆信道 4.5波形信道
4.1信道分类
4.1信道分类



离散信道：输入输出均为离散事件集 连续信道：输入输出空间均为连续事件集 半连续信道：输入和输出一个是离散的，一个 是连续的 时间离散的连续信道：信道输入和输出是连续 的时间序列 波形信道：输入和输出都是时间的实函数x(t), y(t)
Shannon定理
信道带宽W，若信噪比SNR是P/s2,能传送 多少比特信息？ 可以利用Nyquist准则和信息论的基本知 识推导Shannon公式。

( p 2 )1/ 2 =接收幅度
2 1／2＝噪声幅度， 2＝噪声功率＝N0 W（N0噪声功率谱密度）
( p ) S 2 1/ 2 ( )

列置换
对每个 k相同
对每个 j相同
对称DMC容量计算
C log J p( j | k ) log p( j | k )
j 0 J 1

K元对称信道: C = logK - H(p) - plog(K-1) 二元对称信道: C = 1 - H(p) 准对称信道:C=(1-p-q)log(1-p-q)+plogp-(1-q)log((1-q)/2)
平均功率受限时间离散恒参可加 噪声信道容量
1 S 1 S log(1 2 ) C log[ 2 ] 2 2 2 2 2 2 2 x y x
2
给定信号功率，高斯信道是最差的信道，在 它的作用下信道容量最小
平行可加高斯噪声信道(注水定理)

x=(x1,…,xN), y=(y1,…,yN)
4.1 信道分类

两端信道 多端信道 恒参信道：参数不随时间变化 随参信道：参数随时间变化 无记忆信道和有记忆信道 对称信道和非对称信道