•
无用信道：输入与输出相互独立，没有任何关系。
4.3 离散无记忆信道
4.3.1 离散信道的数学模型
4.3.2 信道疑义度和噪声熵
4.3.3 信道的平均互信息及含义
4.3.1 离散无记忆信道的数学模型


单符号离散无记忆信道 • 单符号信道：信道的输入符号之间、输出符号之间都 不存在关联性；信道的分析可简化为对单个符号的信 道分析，此时输入、输出可以看做是单符号的。 • 单符号离散无记忆信道：信道的输入、输出随机变量 又都是离散的。 数学模型 • 设离散信道的输入变量为X，输出变量为Y，对应的概 率空间分别为 X x1 x2 xr
p( y1 x1 ) p( y2 x1 ) p( y1 x2 ) p( y2 x2 ) P(Y / X ) p( y1 xr ) p( y2 ( y s x2 ) p ( y s xr )
1 PX 2
1 2
PY X
0.96 0.04 0 . 04 0 . 96
•
则联合概率分布为
P( X ,Y ) pY X (0 0) p X (0) pY X (1 0) p X (0) p (0 1) p X (1) pY X (11) p X (1) YX 1 1 0.96 2 0.04 2 0.48 0.02 1 1 0 . 02 0 . 48 0.04 0.96 2 2
•
半离散半连续信道：输入空间、输出空间一个为离 散事件集合，而另一个则为连续事件集合，即输入、 输出随机变量一个是离散的，另一个是连续的。如
手机与固话之间的信道。

根据输入输出个数 • 两端信道（单用户信道）：电话 • 多元接入信道：信道的复用 • 广播信道：广播
输 入
输入端 输入端 输入端 输入端
• Y的分布为
PY PX PY X
1 2
1 0.96 0.04 1 2 0.04 0.96 2
1 2
• PX︱Y为
pXY (00) p ( 0) Y pXY (10) pY (0) pXY (01) pY (1) pXY (11) pY (1)

几种特殊信道
• • •
无噪无损信道：输入集和输出集之间存在一一对应的关系。 有噪无损信道：有噪无损信道的一个输入符号可能对应多 个输入符号，而一个输出符号只对应一个输入符号。 无噪有损信道：无噪有损信道的一个输入符号只对应一个 输入符号，而一个输出符号可能对应多个输入符号。
x1 x2 x3 x4 无噪无损信道 y1 x1 y2 x2 y3 x3 y4 有噪无损信道 y6 x6 无噪有损信道 y1 y2 y3 y4 y5 x1 x2 x3 x4 x5 y1 y2 y3
【例4-3，P53】
•
假设串口通信的误码率为4%，即A发送“0”而B接收到 “1”的概率是0.04，A发送“1”而B接收到“0”的概率 也是0.04，可以得到该信道的信道转移矩阵；
P Y|X
•
0.96 0.04 0.04 0.96
此信道称为二元（进制）对称信道（BSC）

P p
p
4.3.2 信道疑义度和噪声熵
1、信道疑义度
【例4-1（续），P50】 • 在嘈杂的环境中，学生对老师讲的话有“疑义” ，如何衡量这种疑义的大小呢？
【定义4-1】 称信道输入空间X对输出空间Y的条件熵
H ( X Y ) p( xi y j ) log p( xi y j )
y1 y2 y3 y4
2、有噪无损信道：
•
•
由于观察到输出之后，对 信道输入不存在不确定性， 因此信道疑义度H(X|Y)=0 。 由于输入符号经过传输之 后有多种情况出现，因此 噪声熵H(Y|X) ≠0
x1 x2 x3
y1 y2 y3 y4 y5 y6 有噪无损信道
3、无噪有损信道：
•
•
由于观察到输出之后，对 信道的输入存在不确定性， 因此信道疑义度H(X|Y) ≠0 。 由于输入符号肯定能被正 确传输，因此噪声熵 H(Y|X)=0
该矩阵称为：信道转移矩阵或者信道矩阵
•
信道矩阵可以简记为
PY | X
其中： pij p( y j xi ) 说明

p11 p 21 pr1
p12 p22 pr 2
p1s p2 s prs

由于信道中存在干扰或者噪声，信道输入符号与输出符 号之间并不是一一对应关系，不能使用确定性函数描述 输入、输出之间的关系。故信道的分析用统计方法。 输入 X xi ，由于传输的过程中出现错误，用条件转 移概率 p( y j xi ) 可以表示输出为yj 的各种可能性。
•
2、噪声熵
【定义4-2】 称信道输出空间Y对输入空间X的条件熵
H (Y X ) p( xi y j ) log p( y j xi )
XY
为噪声熵。

噪声熵含义：
与信道疑义度一样，源于噪声干扰。 • 从不同角度衡量了噪声干扰对信息传输的影响。 • 对无噪有损信道：H(Y|X)=0（例4-4给出）。 • H(Y|X)≤H(Y)。
x1 x2 x3 x4 x5 x6 无噪有损信道
y1 y2 y3
信道疑义度和噪声熵例子2
【例4-5，P54】接例4-3，假设串口0和1的分布为等概分 布，信道矩阵为：
PY X
0.96 0.04 0 . 04 0 . 96
各种概率 计算
试计算该信道的信道疑义度和噪声熵。 解： • 根据已知条件有
p( X ) p( x ) p( x ) p( x ) 1 2 r y2 ys Y y1 p(Y ) p( y ) p( y ) p( y ) 1 2 s
输入符号集合的元素个数为r，输出符号集合的元素个数为s。
•
信道疑义度和噪声熵例子1
【例4-4，P54】考虑4.2节介绍的三种特殊信道的“信 道疑义度”和“噪声熵”。 1、无噪无损信道：
•
•
由于观察到输出之后，对信道输入 不存在不确定性，因此信道疑义度 H(X|Y)=0 。 由于输入符号肯定能被正确传输， 因此噪声熵H(Y|X)=0
x1 x2 x3 x4 无噪无损信道

信道转移概率 • 离散无记忆信道中，当前的输出yj仅与当前的输入xi有 关，与过去的输入无关，即yj出现的概率仅与xi有关， (i 1,2,, r; j 1,2,, s) 即一组条件概率： p( y j xi )
叫作信道转移概率。 其中
p ( y j xi ) 0 s p ( y j xi ) 1 j 1
•
含义： p( y j xi ) 表示输入符号是xi时，输出符号是yj的 概率。即：通过信道传输， xi转移为yj的概率。

信道转移矩阵（信道矩阵）
•
输入有r个符号：
X {x1 , x2 , xr }
•
•
输出有s个符号： Y { y1 , y2 , ys }
所有r×s个条件概率构成一个矩阵：
•
•

信道数学模型 • 由于干扰的存在，信道的输出Y与信道的输入X不完全 相同，用条件概率p(y|x)描述信道特性。 X Y • 而输入和输出又有各自的统计特性，分别用 和 P P 表示。
4.2 信道的分类

根据传输媒质（狭义信道）分 • 有线信道：明线、对称电缆、同轴电缆及光缆等。 • 无线信道：地波传播、短波电离层反射、超短波或 微波视距中继、人造卫星中继以及各种散射信道等。 根据统计特性 • 恒参信道：信道的统计特性不随时间变化。如明线、
为信道疑义度。
XY
H ( X | Y ) p(aib j )log p (ai | b j )
i j

信道疑义度含义：
收到全部输出符号Y以后，对输入符号X尚存在的平均 不确定性。 • 这种不确定性是由信道干扰引起的。 • 对有噪无损信道：H(X|Y)=0（例4-4给出）。 • H(X|Y)≤H(X)：收到输出符号Y以后，总能消除一些对X 的不确定性，获得一些信息。
二元对称信道（简称为BSC（Binary Symmetric Channel））
• •
二元：输入和输出符号集均为{0, 1}，即r=s=2。 对称：1变成0和0变成1的概率相等。
注：这种信道的输出符号仅 与对应时刻输入符号有 关,与以前输入无关，故 称此信道是无记忆信道。
• •
p(0|0)=p(1|1)=1-p，p(0|1)=p(1|0)=p BSC的信道矩阵： p p

•
对称电缆、同轴电缆、光缆、卫星中继信道一 般被视为恒参信道。 随参信道：信道的统计特性随时间发生变化。大多数 的信道都是随参信道，统计特性随着环境、温 度、湿度而变化。如短波电离层反射信道、对 流层散射信道等。

根据输入输出符号的时间特性 • 离散信道：又称数字信道。该类信道中输入空间、 输出空间均为离散时间集合，集合中事件的数量是 有限的，或者无限的，随机变量取值都是离散的。 如GSM。 • 连续信道：又称为模拟信道，输入空间、输出空间 均为连续事件集合，集合中事件的数量是无限的、 不可数的，即随机变量的取值数量是无限的，或者 不可数的。 如：有线电视、广播。
第4 章
离散信道
4.1 离散信道的数学模型 4.2 信道的分类 4.3 离散无记忆信道
4.4 信道的组合
4.5 信道容量 本章小结
4.1 离散信道的数学模型

为什么要研究信道？因为信道上存在干扰！
•
【例4-1，P50】
在一个非常安静的教室里，老师说“这个袋子里装有4个苹果”， 学生听到后，能够非常肯定地判断老师说的就是“这个袋子里装 有4个苹果”； 在一个非常嘈杂的教室里，老师说“这个袋子里装有4个苹果”， 有的学生听成“这个袋子里装有4个苹果”；有的学生听成“这 个袋子里装有10个苹果”；学生都不能肯定自己听到的是对的； 若将老师说的作为信道输入，学生听的是信道输出，前者是无干 扰（无噪声）信道，后者是有干扰（有噪声）信道。