信道编码定理：
如果信源速率 R 小于信道容量 C，总可以找到一种信道编码方法，使得信 源信息可以在有噪声信道上进行无差错传输，即：R C，无差错传输条 件。
说明1：信道容量 C 是根据仙侬定理得到的
C ＝ Wlog2(1+S/N)
说明2：为了保证无差错传输，必需采用信道编码，因而会引入编码延时。
10
图象的相关性（冗余度） 空间冗余
例: 图象中包含许多规则物体，它们的亮度、饱和度及颜色可能都一样， 因 此，图象在空间上具有很大的相关性。例如 Lenna 图象的脸部和肩部。
时间冗余 例: 序列图象
11
图象的相关性（冗余度）
信息熵冗余
信息量： 从 N 个可能事件中选出一个事件所需要的信息度量。 设事件 X 的概率为 P(x)，则信息量定义为：
隔行隔点取样将降低空间分辨率，可能导致爬行现象，当然也 可在收端再插入行和点。减少刷新速率，将出现闪烁，且运动 的连续性不好。
7
压缩方法
统计编码：两种有效的压缩方法
无失真压缩 Loss-less compression：即熵编码，如游程 长 (run-length) 编码和哈夫曼(Huffman) 编码；
j 1
j1
当 Xj 等概时，H(X) 最大。 当 Xj 非等概时，H(X) 不是最大，就存在冗余。
12
图象的相关性（冗余度）
结构冗余
❖ 图象有非常强的纹理结构 ❖ 如草席图结构上存在冗余
知识冗余
图像的理解与某些基础知识有关 例:人脸的图像有同样的结构：嘴的上方有鼻子，鼻子上方有
眼睛，鼻子在中线上……
但是，由于传输信道带宽的限制，又由于原始信源的信号 具有很强的相关性，则信源编码不是简单的A/D、D/A，而 是要进行压缩。为通信传输而进行的信源编码，主要是压 缩编码。
信源编码要考虑的因素：
－信源的统计特性。 －传输信道引入的损伤，如误码。 －信宿的质量要求。
4
数字传输系统－信源和信道编码
信道 编码
调制
二进制符号
噪声 信道
干扰
信宿
信源 解码
信道 解码
解调
3
数字传输系统－概述
信源的原始信号绝大多数是模拟信号，因此，信源编码的 第一个任务是模拟和数字的变换，即：A/D、D/A。
取样频率取决于原始信号的带宽： fc = 2 w，w为信号带宽
取样点的比特数决定编解码后的信号质量： SNR ＝ 6 L(dB)，L为量化位数
第04章 源编码和率失真理论
Source Code and Rate-Distortion Theory
内容提要 Outline
信源编码定理 信源压缩方法 图像冗余 率失真理论 无记忆信源的率失真理论 有记忆信源的率失真理论
2
数字传输系统
用二进制符号 流表示信源
信源
信源 编码
适应传输信 道的特性
量化 Quantisation - 截短或舍入 DPCM 编码 运动估计和补偿 变换编码 (Transform Coding)
KLT 变换 离散余弦变换 Discrete cosine transform (DCT) 小波变换 Wavelet Transform
分形编码 Fractal Coding
13
图象的相关性（冗余度）
视觉冗余
➢ 视觉冗余是非均匀、非线性的。 ➢ 例: 人类视觉分辨率为 26 ，但常用 28 就是数据冗余。
其它冗余 图象空白的非定长性。
14
率失真理论：有损压缩
前面我们已经讨论了离散信源的无失真编码/熵 编码理论
5
数字传输系统－信息传输定理
信息传输定理： 将信源编码定理和信道编码定理综合，就得到信 息传输定理。即：为保证无差错传输及失真度， 必需满足：R(D)≤R≤C，即 C R(D)。
说明1：在一般数字通信系统中，信源编码和信道编码可以分开 考虑。信道编码定理给出无差错的速率上限 R<C，否则产生误码； 信源编码定理给出无失真的速率下限 R(D) <R，否则产生的失真 大于所要求的失真 果将信源所有可能事件的信息量进行平均，就得到了 信息熵(entropy)。熵就是平均信息量。
信息源的符号集为 Xj (j=1,2,3……..N)，设 X 出现的概率为 P(xj),则信息源 X 的熵为
n
n
H ( X ) E{I (x j )} P(x j ) I (x j ) P(x j ) log2 P(x j )
变字长编码（Variable-length Code, VLC)
哈夫曼编码 (Huffman Code)
概率大的块（事件）赋予短码 概率小的块赋予长码
算术编码 (Arithmetic Code)
概率大的块（事件）赋予短码，概率小的块赋予长码 但它的编码过程与 Huffman 编码却不相同
9
压缩 - 有失真方法
信源编码定理：
对于给定的失真率 D，总可以找到一种信源编码方法，只要信源速率 R 大 于率失真 R(D)，就可以在平均失真任意接近 D 的条件下实现波形重建。
说明1：R(D) 称为率失真函数，它是单调非增函数，速率越高，平均失真越小。 说明2：为了保证在一定速率下的失真，必需采用信源编码，因而会引入编码延时。
说明2：为了实现理想性能，都要付出延时的代价。
6
压缩方法
信源压缩方法可以主要分为三大类：
利用人眼的视觉特性 模拟压缩技术 统计编码
人眼视觉特性：因为最终评价图像的质量是通过人眼来完成，
所以可利用人眼的一些视觉特性对图像进行有损压缩，而产生的 误差又不易被人眼所察觉。
模拟压缩技术：
常用的有亚取样、隔行隔点取样以及减少刷新速率。 它们的使用都有一定的限制条件。亚取样可能导致混迭现象。
2 到 5 倍压缩比
有失真压缩 Lossy compression：即允许有部分失真 ，遵循率失真函数，如预测编码、变换编码、运动补 偿技术等
5 到 250 倍压缩比
－信源的统计特性。 －传输信道引入的损伤，如误码。 －信宿的质量要求。
8
压缩 - 无失真方法
游程数据编码
101000100010001001101 = 1 + 4x0100 + 1101 源 21 bits →→ 压缩后 12 bits