当前位置:
文档之家› 信息论基础联合信源信道编码定理47页
信息论基础联合信源信道编码定理47页
➢ 在不失真或允许一定失真条件下,如何用尽可能少 的符号来传送信源信息,以便提高信息传输率;
➢ 在信道受干扰的情况下,如何增加信号的抗干扰能 力,同时又使得信息传输率最大.
3
第四章 信道编码定理
定理的提出
香农第一定理:要进行无失真数据压缩,必
须
R′>H;
4
第四章 信道编码定理
定理的提出
香农第二定理:要在信道中可靠地传输数
11
第四章 信道编码定理
事实上,由法诺不等式, H U n Uˆ n 1 Pen log un 1 Penn log u ,
所以对复合码 f , g 有
H U 1 H U n 1 H U n Uˆ n 1 I U n;Uˆ n
n
n
n
熵率的定义
1 n
1 Penn log
据,必须
C>R;
5
第四章 信道编码定理
定理的提出
香农第一定理:要进行无失真数据压缩,必
须
R′>H;
香农第二定理:要在信道中可靠地传输数
据,必须
C>R;
问题:若信源通过信道传输,要做到有效且
可靠地传输,是否必须有C>H ?
6
第四章 信道编码定理
定理的提出
一步编码方案!
7
第四章 信道编码定理
4.5 联合信源—信道编码定理
9
第四章 信道编码定理
联合信源—信道编码定理
证明:
弱典型序列
a 由于信源是无记忆的,它满足渐进等分性, 的性质
存在典型序列集Wn 使 Wn 2nHU ,并且 Pr U n Wn 1
仅对属于Wn 的信源序列编码,码字集为 1, 2,L , 2nHU ,
对U n Wn ,统一编码为 0,传输这些序列会出现译码错误.
• 优点是设计简单、通用性好,可以分别形成标准。 • 缺点是没有充分利用各自的优势,因而不是最佳的。 • 无线系统的信源编码由于压缩比很高,对差错十分敏感;而信道
编码面临十分恶劣的传播环境,但提供的带宽冗余度很小。 ➢ 在这种背景下,需要将信源编码和信道编码综合考虑。这就是联
合编码的基本思路。 • 在无线多媒体通信中,联合编码是抗衰落的一种十分有效的措施。
u
1 I U n ;Uˆ n n
熵、条件熵与 互信息的关系
信道 容量 的定
义
1 n
1 Penn log
u
1I n
X n;Y n
法诺不等式
1 n
Pen
log
u
C
①U n X n Y n Uˆ n 构成马氏链,
②数据处理不等式保证了 I U n;Uˆ n I X n;Y n
12
第四章 信道编码定理
4.5 联合信源—信道编码定理
定理的提出 联合信源—信道编码定理 两步编码与一步编码
1
第四章 信道编码定理
定理的提出
信源 信源编码器
干扰 源
调
解
信ቤተ መጻሕፍቲ ባይዱ编码器
制
信道
调
器
器
编码信道
通信的实质是信息的传输 !
信宿 信源译码器 信道译码器
2
第四章 信道编码定理
定理的提出
将信源信息通过信道传送给信宿.怎样才能既 做到尽可能不失真而又快速呢? 需要解决两个问题:
二元码进行数据压缩;
18
第四章 信道编码定理
两步编码与一步编码
➢信道输入端只是一系列二元码 ↔信道编码只需针对信道特性进行,不用
考虑信源的特性; 以纠正信道带来的错误,做到有效又可 靠地传输信息. 大大降低通信系统设计的复杂度!
19
第四章 信道编码定理
两步编码与一步编码
➢ 经典的无线通信系统是将信源编码和信道编码分别进行的。信源 编码主要考虑信源的统计特性,信道编码主要考虑信道的统计特 性。
10
第四章 信道编码定理
因为HUC,可以找到充分小的使HURC, 从而,存在码率为R的编码f,g使通过信道传输后误差小于,
即当n充分大时,Pen = Pr UˆnUn Pr UnWn Pr gYn UnUnWn 2
b 要证对任何使 Pn 0n 的复合码,其编码函数为
X n U n f Un : Un xn 译码函数为 g Y n : yn uˆn ,则必有 H U C
两步编码与一步编码
➢用尽可能少的信道符号来表达信源,以 减少编码后的数据的剩余度.
15
第四章 信道编码定理
两步编码与一步编码
➢对信源编码后的数据适当增加一些剩余 度,使能纠正和克服信道中引起的错误 和干扰.
16
第四章 信道编码定理
两步编码与一步编码
思考: 在有噪信道中,当H<C时,用两步编码与一步 编码的处理方法传输信源信息均可使得误差概 率任意小.
20
第四章 信道编码定理
两步编码与一步编码
➢ 国内主要研究方向(以博士毕业论文为例): 《基于Turbo码的联合信源信道编译码方法研究 》
——中国科学院研究生院(2019) 《误码环境下的视频信源信道编码理论与技术研究 》 《无线信道中的联合信源信道编码研究 》
——西安电子科技大学(2019)
《信源信道联合解码算法研究及其在语音传输中的应用 》 ——东南大学 (2019)
《无线图像传输中的联合信源信道编码研究 》 ——上海交通大学 (2019)
《实现复杂度控制的信源信道联合编码研究 》 ——华中科技大学 (2019)
第四章 信道编码定理
令
n
,
Pen
0,
1 n
0
,从而
H
U
C
成立.
说明
定理表明使用一步编码方案可以使通信的误差 概率任意小.
对于同一个通信系统,现在有两种数据处理方 案.
13
第四章 信道编码定理
4.5 联合信源—信道编码定理
定理的提出 联合信源—信道编码定理 两步编码与一步编码
14
第四章 信道编码定理
对于给定的通信系统进行编码时,应该倾向于 那种编码方案?
17
第四章 信道编码定理
两步编码与一步编码
• 近代大多数通信系统都是数字通信系统. • 实际数字通信系统中,信道多是共同公
用的二元数字信道. ➢将语音、图像等首先数字化,再对数字
化的信源进行不同的信源编码 ↔针对各自信源的不同特点,用最有效的
定理的提出 联合信源—信道编码定理 两步编码与一步编码
8
第四章 信道编码定理
联合信源—信道编码定理
设U1、U2、…是取值于有限字母表Ц的 无记忆信源,有熵率H(Ц); [Ҳ,Q(y|x),Ұ] 为无记忆信道,有信道容量C. (a)若H(U)<C,则对任ε>0,存在复(联) 合信源 — 信道码( f, g)使Pe(n)<ε; (b)反之若H(U)>C ,则Pe(n)>0.