信道及信道容量
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
4、根据信道中所受的噪声种类不同，分为随机差错信道和突发 差错信道。
随机差错信道：噪声独立地、随机地影响每个传输的码元。如加 性高斯白噪声(AGWN)信道。 突发差错信道：大的脉冲干扰或闪电对码元的影响是前后相关的。 错误成串出现，且是突发性的。如移动信道。
5、根据输入/输出信号的特点，分为离散信道、连续信道、半离 散半连续信道和波形信道。
根据信道的参数，将信道分为三大类：
1、无干扰信道 理想信道，信道中没有随机干扰
P(Y |X )1 Y fX ()
P(Y|X)0 YfX ()
或干扰很小。输出与输入之间有完全确定的对应关系。
2、有干扰无记忆信道
无记忆：任意时刻的输出符号，只统计依赖于对应时刻
的输入符号，而与其它时刻的输入符号、输出符号无关.
I(X;Y)＝I(Y;X)＝Hc(X)- Hc(X|Y) ＝Hc(X)＋Hc(Y)- Hc(XY) ＝Hc(Y)- Hc(Y|X)
Hc(XY)＝Hc(X)＋Hc(Y|X)＝Hc(Y) ＋Hc(X|Y)
二、波形信源的熵 理解讨论方法即可
H c(x()t )L l i m H c(X )
三、 连续信源最大熵定理
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
j1
j1
复习与作业讲评
1、符号的使用： 自信息量I 熵-----H 2、应画出信源（模型）
离散信道：输入/输出信号在时间和幅度上都是离散的。 连续信道：输入/输出信号都是在时间上离散而幅度上连续。 半离散半连续信道：输入/输出信号有一个在幅度上离散（时间 上都连续）。 波形信道：输入/输出信号在时间和幅度上都是连续的。
此时，输入和输出信号一般用随机过程来描述。据随机过程 的理论，经过限时和限频后，经抽样变成连续型随机变量。相应 地，波形信道被分解成连续信道。
1、峰值功率受限的最大熵定理
对于定义域为有限的随机变量X，当它是均匀分布时，其熵
最大。
H c (X ) p X (x )lo 2 p X g (x ) d定理 服从正态分布时具有最大相熵。
p(x)
1
22
exp(x2m2)2m为均值， 2为方差
转移概率矩阵（阵 传） 递 P:矩
P[ Pij ]PP1211
P1 2
P2
2
1-p
p
p 1-p
传递矩阵也完全确定了输入与输出间的统计依赖关系，也是 信道的数学模型。
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
一、信道的分类
1、根据信道的用户数量，可以分为两端（单用户）信道和多端
信道（多用户信道）。
只有一个输入端和 一个输出端；单向
至少有一端存在两 个用户；双向
2、根据信道输入端和输出端的关系,分为无反馈信道和反馈信道 无反馈信道: 输出信号对输入无影响。
3、根据信道的参数可以分为固定参数信道和时变参数信道 （参数：表示输入和输出统计依赖关系的转移概率.后面详述） 固定参数信道：如光纤、电缆 时变参数信道：如无线信道.会因天气或周围环境的变化而变化
H2不能随便使用
3、2.4题，求H(X)，而非I(x)
4、2.5题，求自信息量或条件信息量。个别同学H(y|x)
5、2.11(2)有些同学计算H(X,Y)太复杂。
xi---颜色，构成信源X, yi----数字，构成信源Y.
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
P(Y|X )Py(1,y2,..y .N .|,x1,x2,..x .N .),
N
Py(1|x1,y2|x2,..y .N .|,xN) Py(i|xi)
i1
这种信道根据输入信号与输出信号的符号数目进一步划
分为以下四种信道：
指符号集中符号的个数
(1)二进制离散信道(又叫二进制对称信道BSC，转移概率对称)
二、信道的参数
参数：表示输入和输出统计依赖关系的转移概率。 对于单符号信道，即P(Y | X),对于符号序列信道，即 P(Y|X)。
由于信道引入的干扰,使得输入和输 出之间没有确定的对应关系，而只有统 计上的依赖关系(用转移概率来描述)。 知道了这种关系，信道的全部特性就确 定了.所以,它是信道的参数。
第三章 信道及信道容量
第一节 信道分类及表示参数
参数：表示输入和输出统计依赖关系的转移概率。 对于单符号信道，即P(Y | X),对于符号序列信道，即 P(Y|X)。
2 Pm2,通常m0,2 P,此时有：
HC(X)
p(x)logp(x)dx
1log(22)
2
第五节 冗余度 一、冗余度的概念
表示给定信源在实际发出消息时所包含的多余信息。
二、冗余度产生的原因 理解
一是信源符号间的相关性，二是信源符号分布的不均匀性
三、冗余的定义
11H(X )
H0(X)
四、冗余的压缩
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
信源在一定的时间T内输出符号。信源输出的信息速率为 Rt=H(X)/T bit/s
符号在信道中传送时，传送一个符号所用的时间为t,则最大信 息传输速率为Ct=C/t bit/s.
若Rt≤Ct，那么就可以实现无失真传送;否则;不能无失真传送 所以，对于信道主要是研究信道容量。不同的信道，其容量不同.
第一节 信道分类及表示参数