Channel and Channel Capacity 信道及其容量
本章内容
• 信道模型与信道分类 • 离散无记忆信道及其信道容量 • 离散无记忆扩展信道 • 连续信道的信道容量 • 仙农(Shannon)公式 • 信号体积与信道容积,及B,T,S/N之间的互换关系
参考书：沈振元等，“通信系统原理”第11章 戴善荣, “信息论与编码基础”, 第4章
起伏噪声也具有同样的分布，即其相对的平均信息量为
H(n) log 2 2e N
式中，N为噪声的平均功率（平均电压为0）。
• 接收熵：接收端产生的平均信息量 设信号与噪声相互独立，接收信号=有用信息+噪声，即
P=S+N，因此接收端产生的总的平均信息量为
H (Y ) log 2 2e(S N ) （每样值）
[信道编码定理]：只要信息传输速率不大于信道容量，总存在 某种信道编、译码方案，当码长趋于无穷时，可以使误码率 任意小。（即既可以使R接近C，但又可以实现无误传输）
通过信道编码可以不断向仙农限靠拢： • 60年代，不用编码，采用最佳相干PSK，须Eb/N0=9.5dB; • 70年代, 用卷积码及序列译码算法， Eb/N0=3~5dB； • 80年代，用级连码， Eb/N0=0.2dB; • 90 年代，出现Turbo码，离仙农限只有0.7dB; • 2002年，采用LDPC码，离仙农限只有0.0045dB！
通信系统模型
An Introduction to Information Theory
•Information and Communication noise
Source
Transmitter (encoder)
Channel
Receiver (decoder)
Destination
A general communication system
C max I ( X ,Y ) {p( x)}
max[H ( X ) H ( X /Y )] {p( x)}
max H ( X ) [ 1 log 1 1 log 1 ]
{p( x)}
2 22 2
1
如何求H（X/Y）？
mn
H(X/Y)
p(xi, yj)logp(xi/yj)
p(x1,y1)=0.66, p(x1,y2)=0.0067
p(x2,y1)=0.0033, p(x2,y2)=0.34
p(x1/y1)=0.9950, p(x1/y2)=0.0199
p(x2/y1)=0.0050, p(x2/y2)=0.9801
22
H(X/Y)
p(xi, yj)logp(xi/yj)
问题：带宽趋于无穷时，信道容量是否也趋于无穷？
带宽趋于无穷时，高斯信道内噪声功率谱密度是均匀分布，
故噪声的平均功率决定于带宽，即 N B n0
n0是噪声功率谱密度，单位为W/H z, 将上式代入仙农公式，
得
C B log 2(1 S )
n0 B
lim C S lim n0 B log 2(1 S )
max[ Ht(Y ) Ht(n)g 22e(S N ) B log 22eN
SN
S
B log 2
B log 2(1 )
N
N
仙农（Shannon）公式：
C B log 2(1 S ) N
(2)带宽无限信道的容量：
记为
Vc BcTcHc
同样，我们可以将时间Tc内通过信道所实际传输的信息量称 为信号体积Vs, 即
• 恒参信道;
• 随参信道;
• 无记忆信道;
• 有记忆信道;
其它划分: 有线信道;无线信道;移动信道;卫星信 道;光纤信道;短波信道等.

离散信道及其信道容量
1 信道容量与信道利用率
（1）信道容量：对于一切可能的输入信号概率分布而言，信道 传信率（互信息量）所能达到的最大值，便称为信道容量 (channel capacity), 即
B
n0 B S
n0 B
n0B

S n0
lim
B
log
2
(1
S n0B
)
S
利用极限公式
lim
(1

1
x
)

e
x
x
并令 x n0 B S
便得到
lim C S log2 e 1.44 S
B n0
n0
这说明，B趋于无穷，C并不为无穷，而是趋于一个常量。
讨论：若信源发出的信息速率为Rs 1.44 S ，为使信息
{p( x)}
（1）限带高斯白噪声信道的容量：
• 一个连续随机信源，当信号平均功率一定时，信号的最佳分 布是均值为零，方差等于平均功率的正态分布：
e p(x)
1
2
x2

2 2
此时，最大的平均信息量为
H(X ) log 2 2e 2 log 2 2e S
其中，S为信号的平均功率， 2 为方差，即平均功率， x为信号幅度。
)
k 1 k 1
{ p( yj / xi)
1,
ij
, ij
k 1
3 连续信道的信道容量
连续信道的信息传输速率：
R Ht( X ) Ht( X /Y )
信道容量：
C max R max[ Ht( X ) Ht( X /Y )]
{p( x)}
{p( x)}
max[ Ht(Y ) Ht(Y / X )]
思考：上述结果说明了什么问题？实际通信系统是否能达到
这一极限？如何向这个目标靠拢？
（3）由仙农公式得出的重要结论： 对于平均功率受限的高斯白噪声信道
• 信道容量C与信道带宽B、信噪比S/N有关，要增加C，可增 加B、或S/N；
• 当输入信号为高斯分布时，信息速率可达到传信率的理论极 限值-信道容量C；
j1 i1
0.07883 bit/符号
(4) R I ( X ,Y ) H ( X ) H ( X /Y ) 0.839 bit / 符号
若每秒发1000个码元，则Rt=839bit/s，损失79bit/s. (5)信道利用率：
绝对剩余度=C-I(X,Y)=0.08bit/符号 相对剩余度=0.08/0.919=0.087
由仙农公式可知，在Tc秒内信道能传输的最大平均信息量
为
Vc Tc Ct

BcTc log(1
Sc
)

BcTcHc
Nc
其中，下标C表示信道
Bc-信道带宽；Tc-信道传输时间；Sc-信道输出的信号功率；
Nc-信道输出的噪声功率；
Hc log(1 Sc ) Nc
为信道的动态范围
若将Bc、 Tc、Hc作为空间的三个坐标，则Vc就表示信道容积，
• 高斯白噪声危害最大 C max Ht( y) Ht(n)
由于Ht(n)有极大值，故C最小； • 仙农公式指出了通信系统的潜在能力，及可达到的理论值，
可作为带宽与信噪比互换的理论基础； • 目前虽尚无实际系统的传信率达到信道容量，但近年来在编
码领域已取得了重大突破， 正在向这一极限逼近。
(3) C与什么因素有关？
C max I ( X ,Y ) max[H ( X ) H ( X /Y )]
{p( x)}
{p( x)}
max H ( X ) min H[ p( y / x)]
{p( x)}
取决于信道干扰的概率分布
2 离散信道的信道容量
（1）二元对称信道BSC（Binary Symmetric Channel）
i1
信源发出的信息速率
Rs=300000x30x3.32=29880000 bit/s
要求Ｃ>= Rs,
C B log 2(1 S ) N
B 29880000 29880000 3 MHz log 2(1 1000 ) 9.969
所需带宽起码为 3MHz
(4)信号体积和信道容积（通信系统原理，p.434）
解: （1） C 1 p log p (1 p) log(1 p) 0.919 bit/符号
（2） H (X ) [ p(0)log P(0) P(1)log p(1)] 0.918 bit/符号
（3）求损失熵H(X/Y): 先计算出各种概率值
p(y1)=0.6633, p(y2)=0.3367
将上述数值代入公式，得
H ( X /Y ) [ p log p (1 p) log(1 p)] H2( p)
故BSC的信道容量为
C 1 H(X /Y ) 1 H2( p) 1 p log p (1 p) log(1 p)
讨论：
• 无噪声干扰（即p=0）时，损失熵为0，信道容量 就等于信源发出的码元速率，即CT=R；
C max I(X ,Y ) (bit/符号) {p(x)}
若传一个符号需要T秒钟，则每秒可传1/T符号，故信道的最 大传输速率，即信道容量又可表示为
CT C / T
（bit/s)
(2) 信道容量的剩余度
• 绝对剩余度= C – I（X，Y） • 相对剩余度= [ C – I (X, Y) ] / C
例 一帧电视图象由300，000个象素组成，设每个象素均可随 机地取10个不同电平中的一个来代表其亮度，每秒发送30帧图 象，为满意地重现图像，要求信噪比S/N为30dB, 求信号所须 的带宽。
解：把每个象素看成是一个十进制信源发出的符号，
p(xi)=1/10, i=1,2…,10