• 其中：等概率事件的熵最大，假设有N个事件，则 此时熵为：
j 1
1 1 H ( X ) log 2 log 2 N N j 1 N
2014-2-16 25
N
最大熵
6.2.3 信息熵的范围
当P(x1)＝1时，P(x2)＝P(x3)＝…＝P(xj)＝0， 则此时熵为：
H ( X ) P( x1 ) log 2 P( x1 ) 0
2014-2-16
8
视觉冗余
人类的视觉系统对图像场的敏感度是非均 匀的。但是，在记录原始的图像数据时， 通常假定视觉系统近似线性的和均匀的， 对视觉敏感和不敏感的部分同等对待，从 而产生比理想编码（即把视觉敏感和不敏 感的部分区分开来的编码）更多的数据， 这就是视觉冗余。
人类视觉系统的一般分辨能力估计为26灰度等 级，而一般图像的量化采用的是28的灰度等级。 这也被称之为视觉冗余。
重复步骤2、3，直到出现的概率和为1。 分配代码
• 代码分配从最后一步开始反向进行，对最后两个概 率一个赋予0代码，一个赋予1代码。记录下从树的 根到每个信源符号终节点的0和1序列。
2014-2-16
31
6.3.1 Huffman编码
Huffman编码中求平均码长的方法：
概率×码长
2014-2-16
2014-2-16
19
预测编码
预测编码
预测编码是根据离散信号之间存在着一定关联 性的特点，利用前面一个或多个信号预测下一 个信号进行，然后对实际值和预测值的差（预 测误差）进行编码。如果预测比较准确，误差 就会很小。在同等精度要求的条件下，就可以 用比较少的比特进行编码，达到压缩数据的目 的。 如：增量调制（DM）、差分脉冲编码调制 （DPCM）、自适应增量调制（ADPCM）等。 主要用于声音编码。
设原图像的平均码长为 L，熵为 H(X)，压缩后 H(X ) 图像的平均码长为Lc，则编码效率为：
L L c
压缩比为：C L
1 L H(X ) 1 冗余度为：R 11 R H(X ) L
1 1 R
Lc
2014-2-16
28
6.3 常用的无损数据压缩方法
2014-2-16
30
6.3.1 Huffman编码
至于哪个为“1”哪个 具体的编码步骤 为“0”则无关紧要， 将信源出现的概率由大到小排序。 最后的结果仅仅是分 配的代码不同，而代 将两处最小概率组合相加，形成新概率。 码的平均长度是相同 将新概率与未编码的字符一起重新排序。 的。
2014-2-16 9
6.1 多媒体数据压缩概述 基于数据冗余
6.1.3 多媒体数据压缩的原理 1.图像数据压缩的主要依据有两个
的压缩技术是 无损压缩技术
一是图像数据中有许多重复的数据，使用数学 方法来表示这些重复数据就可以减少数据量； 另一个依据是人眼睛对图像细节和颜色的辨认 有一个极限，把超过极限的部分去掉，这也就 达到了数据压缩的目的。
在图像压缩系统组成中，变换和编码是无损耗 的，而量化是有损耗的。无损压缩方法仅利用 了统计冗余，而没有利用量化器。有损压缩方 法既利用了统计冗余又采用了量化器，利用了 心理视觉冗余。
2014-2-16
16
6.1.4 数据压缩方法的分类
1.根据编、解码后数据是否一致来进行分 类，数据压缩的方法一般被划分为两类：
多媒体技术
1
2014-2-16
第6章 多媒体数据压缩
6.1
多媒体数据压缩概述
数据压缩的技术基础 常用的无损数据压缩方法
6.2
6.3
6.4
常用的有损数据压缩方法
2014-2-16
2
6.1 多媒体数据压缩概述
6.1.1 多媒体数据压缩的必要性
⑴ 原始采样的媒体数据量巨大 ⑵ 有效利用存储器存储容量 ⑶ 提高通信线路的传输效率 ⑷ 消除计算机系统处理视频I/O瓶颈
基于人眼视觉特 性的压缩技术是 有损压缩技术
2014-2-16 10
6.1.3 多媒体数据压缩的原理
2. 图像压缩说明
视频压缩与语音相比，语音的数据量较小，且 基本压缩方法已经成熟，目前的数据压缩研究 主要集中于图像和视频信号的压缩方面。 压缩处理过程有两个过程，编码过程是将原始 数据经过编码进行压缩，以便存储与传输；解 码过程是对编码数据进行解码，还原为可以使 用的数据。
2014-2-16
3
6.1 多媒体数据压缩概述
6.1.2 多媒体数据压缩的可能性
常见的图像数据冗余种类：
• • • • • ⑴ 空间冗余 ⑵ 时间冗余 ⑶ 结构冗余 ⑷ 知识冗余 ⑸ 视觉冗余
2014-2-16
4
空间冗余
在任何一幅图像中，均有由许多灰度或颜 色都相同的邻近像素组成的区域，它们形 成了一个性质相同的集合块，即它们相互 之间具有空间上的强相关性，在图像中就 表现为空间冗余。
可逆编码（无损编码）。此种方法的解码图像 与原始图像严格相同，压缩比大约在2:1~5:1之 间。主要编码有Huffman编码、算术编码、行 程长度编码等。 不可逆编码（有损编码）。此种方法的解码图 像与原始图像存在一定的误差，但视觉效果一 般可以接受，压缩比可以从几倍到上百倍调节。 常用的编码有变换编码和预测编码。
2014-2-16
6
结构冗余
在有些图像的纹理区，图像的像素值存在 着明显的分布模式。
例如，方格状的板图案等，我们称此为结构冗 余。已知分布模式，可以通过某一过程生成图 像。
2014-2-16
7
知识冗余
有些图像的理解与某些知识有相当大的相 关性。例如：狗的图像有固定的结构，狗 有四条腿，头部有眼、鼻、耳朵，有尾巴 等。这类规律性的结构可由先验知识和背 景知识得到，我们称此类冗余为知识冗余。
Lc P ( x j ) L( x j )
j 1
平均码长 Lc 的计算公式为： n
（j=1,2,…,n）
其中：P(xj) 是信源X发出xj的概率，L(xj)为xj的编码长。
2014-2-16 27
6.2.5 冗余度、编码效率与压缩比
在数字图像通信系统中，冗余度、编码效 率与压缩比是衡量信源特性以及编解码设 备性能的重要指标。
信源符号的概率如下，请按要求作答：
• • • • 画出其Huffman编码的编码树 给出各信源符号的码字与码长 计算该信源的平均码长。 （说明：大概率符号赋予0，小概率符号赋予l，相 同概率情况下上面的是0，下面的是1。） X4 0.1 X5 X6 0.05 0.05
X X1 X2 X3 P(X) 0.35 0.25 0.20
由上可得熵的范围为：
最小熵
0 H ( X ) log 2 N
2014-2-16
26
6.2.4 平均码长
在编码中用熵值来衡量是否为最佳编码。若 以Lc表示编码器输出码字的平均码长，则当
Lc≥H(X) 有冗余，不是最佳。 Lc＜H(X) 不可能。 Lc＝H(X) 最佳编码（Lc稍大于H(X)）。 熵值为平均码长Lc的下限。
2014-2-16 17
6.1.4 数据压缩方法的分类
2.根据压缩方法的原理，可将其具体划分 为以下几种：
⑴ 量化与向量量化编码 ⑵ 预测编码 ⑶ 变换编码 ⑷ 信息熵编码 ⑸ 混合编码
• 变换编码与预测编码相结合
2014-2-16
18
量化与向量量化编码
对像元点进行量化时，除了每次仅量化一 个点的方法外，也可以考虑一次量化多个 点的做法，这种方法称为向量量化。即利 用相邻数据间的相关性，将数据系列分组 进行量化。
6.3.1 Huffman编码 6.3.2 算术编码 6.3.3 行程RLE编码 6.3.4 词典编码
2014-2-16
29
6.3.1 Huffman编码
基本原理
依据信源字符出现的概率大小来构造代码，对 出现概率较大的信源字符，给予较短码长，而 对于出现概率较小的信源字符，给予较长的码 长，最后使得编码的平均码字最短。
概率相等
2014-2-16 24
概率不等
6.2.2 信息熵的计算
2.信息熵:平均信息量
信源X发出的xj（j=1,2,…,n）共n个随机事件， 每个事件产生的平均信息量为： n H ( X ) E{I ( x j )} P( x j ) log 2 P( x j )
H(X)称为信源X的“熵”，即信源X发出任意 一个随机变量的平均信息量。 概率×信息量
a5
0.1
a6
0.03
1 0
2014-2-16
35
Huffman编码练习一答案
2014-2-16 20
变换编码
变换编码
将图像时域信号转换为频域信号进行处理。数 据处理时可以将主要的注意力集中在相对较小 的区域，从而实现数据压缩。
• 一般采用正交变换，如：离散余弦变换（DCT）、 离散傅立叶变换（DFT）
2014-2-16
21
信息熵编码
信息熵原理
让出现概率大的信号用较短的码字表示，反之 用较长的码字表示。
32
6.3.1 Huffman编码
Huffman编码练习一:
设输入图像的灰度级{a1,a2,a3,a4,a5,a6}出现的 概率分别是0.4、0.2、0.12、0.15、0.1、0.03。 试进行哈夫曼编码，并计算平均码字长度。
2014-2-16
33
6.3.1 Huffman编码
Huffman编码练习二:
2014-2-16
14
6.1称有损压缩法，有失真压缩，是指使用压缩 后的数据进行解压缩，解压之后的数据与原来 的数据有所不同，但不会让人对原始资料表达 的信息造成误解。