H p xi log 2 p xi
i 0
L 1

L 1
ni n log 2 i n i 0 n
具体到数字图像中，称 H 为图像信息熵。它给出了描述一幅图像携载信息量的最少比特数。
Shannon无失真编码定理 基于图像信息熵，存在一种无失真的编码方法，使编码的平均码长与信息熵无限的接 近。既：
6
图像压缩_无损压缩
4、无损编码
常用的无损编码方法有霍夫曼编码、香农—费诺编码、算术编码、游程编码和无损预测编码等。 1）Huffman编码 霍夫曼编码法是消除编码冗余最常用的方法。 假设有一个信源为 A a0 , a1 , a2 , a3 , a4 , a5 , a6 ，其概率分布为： 符号 概率
霍夫曼编码效率为 ：

H 2.325 100% 100% 97.7% Lavg 2.380
9
图像压缩_无损压缩
2）香农-费诺编码 由于霍夫曼编码法中的信源缩减过程复杂，当信源符号个数较多时十分不便。为此Shannon和 Fano提出了一种类似的变长编码方法，相对于霍夫曼编码法更方便、快捷。 假设有一个信源为 A a0 , a1 , a2 , a3 , a4 , a5 , a6 ，其概率分布为： 符号 概率 具体步骤如下： a）将信源符号按出现的概率 p ai 由大到小排列； b）将信源A分成两个子集
0.4 1
0.6 0
000 001
0.24 01
0.2 000 0.16 001
0.36 00
0.24 01
0.4
1
010
0110
01110 01111
霍弗曼编码示意图
图像压缩_无损压缩
符号
a0 a1 a2 a3 a4 a5 a6
概率
霍弗曼编码 （码字） 二进制编码 （码字）
0.16
001 000
Lavg H , 0
但以 H 为下限，既 Lavg H 。这就是Shannon的无失真编码定理。 R 1 100% 1 H Lavg H D Lavg Lavg 无失真编码性能的几个指标：
1）编码效率
H Lavg
RD 1
n n n2 1 1 2 1 CR n1 n1
2）冗余度
RD 1 100% 或
CR m Lavg
RD 1
1 CR
3）压缩比
或
CR
n1 n2
图像压缩_图像压缩原理
2、图像压缩原理
1）数据压缩的对象是数据，大的数据量并不代表含有大的信息量。 2）图像压缩就是除去图像中多余的数据而对信息没有本质的影响。 3）图像压缩是以图像编码的形式实现的，用较少的比特数表示出现概率较大的灰度级，用较多的 比特数表示出现概率较小的灰度级，从而使平均码长更接近于信息熵。

2）当 a e 时，则单位为奈特（nat）；
3）当 a 10时，则单位为哈特（hat）。
一般以2为底取对数，由此定义的信息量等于描述该信息所用的最少比特数。
3
图像压缩_香农信息论
信息熵 若信源有 n个字符，对应字符 xi 的概率为 p xi ，则该信源的平均信息量就称为信息熵，既：
Lavg Bk Pk
k 0 N 1
1 0..4 3 0.2 3 0.16 3 0.12 4 0.06 5 0.04 5 0.02 2.380
0
0 0 0
1
100 101 11011Fra bibliotek100
0
1 1 1
11110
0
1
11111
香农-费诺编码示意图
a0 a1 a2 a3 a4 a5 a6
0.16
0.4
0.12
0.04
0.02
0.2
0.06
图像压缩_无损压缩
1
0.4 1 0.2 000 0.16 001 0.12 010 0.06 0110 0.06 0111
0.4 1 0.2 000 0.16 001 0.12 010 0.12 011
0.4 1
0.4
1 001
0.12
010 010
0.04
01110 011
0.02
01111 100
0.2
000 101
0.06
0110 110
3 1.26 2.380
Huffman编码效率 信源信息熵为：
H P ak log 2 p ak 2.325
k 0 7 1
图像压缩_有损压缩
5、有损编码
常用的有损编码方法有预测编码、变换编码 „„
1）预测编码 预测编码是通过消除紧邻像素在空间和时间上的冗余来实现的，它仅对每个像素中的新信息进 行提取并代替原图像进行编码。新信息=实际值-预测值,既预测误差。
差分脉冲编码调制（Differential Pulse Code Modulation ，DPCM）。
信息量大；反之，一个消息传达给我们的是已
知确定的东西，则这个传达就失去了意义。
信息量 在信息论中：信息使用不确定的度量来确定的，一个消息的可能性越小，其信息含量越大；消息
的可能性越大，其信息含量越小。设某消息 xi 发生的概率为 p xi ，则该消息携载的信息量为：
I xi log a p xi 1）当 a 2 时，则单位为比特（bit）；
大的系数→能量多→低频 小的系数→能量小→高频
系数选择（滤波）：区域法和阈值法
图像压缩_无损压缩
3）算术编码
例如：I xi log2 p xi 1.732
算术编码法和霍夫曼编码法都是一种变长编码。但霍夫曼编码必须分配整数位码字，而算数编 码可以分配带有小数的比特数目信符，并且算术编码给整个信源符号序列分配一个单一的算术码字。 假设有一信源为 A b,c,a,d,c ，信源中各符号出现的概率分别为：
霍夫曼编码法：Lavg 1.9比特 / 字符
图像压缩_无损压缩
4）游程编码 游程：是指字符序列中各个字符连续重复出现而形成字符串的长度。 游程编码（行程编码）：就是将字符串序列映射成字符串的长度和串的位子的标志序列。 例如：一个字符串5 5 5 5 5 5 7 7 7 7 7 3 3 3 2 2 2 2 1 1 1 1 1 1 1
图像压缩_无损压缩
A b,c,a,d,c
算术编码示意图
输出区间[0.3728,0.37376）
[0.01011111011,0.01011111101）
取位数最少的一个数: 0.010111111 不考虑“0.”，则编码输出为:010111111
算数编码法： L
avg

9 1.8比特 / 字符 5
p(a) 0.2 p(b) 0.3 p(c) 0.4 p(d) 0.1
算术编码具体步骤如下： a）“当前区间”初始化[0,1）；
b）对于输入信源中的每个符号，依次执行如下两个步骤：①将“当前区间”分成子区间，该子
区间的长度正比于符号的概率；②选择下一个信符对应的子区间，并使它成为新的“当前区间”； c）将整个信源的所有符号处理完后，在最后一个“当前区间”中任找一个数作为算数编码的输 入码。
图像压缩_有损压缩
DPCM系统原理框图
误差信号：
ˆ en fn f n
量化器误差： qn en en 接收端输出： f fˆ e
n n n
可以推出：
ˆ e f f ˆ e e e q f n f n f n f n n n n n n n n
变换编码方法编码、解码示意图
图像压缩_有损压缩
第一步：子图像分解 将一副大小为 M N 的输入图像分解成大小为 n n 的子图像。 8×8 16×16 原因： ①距离远的像素之间的相关性比较差； ②小块图像的变换比较容易。
第二步：正交变换
将一副图像从空间域映射到变换域的系数集合。 正交变换的特点：①不会丢失信息； ②去除部分相关性； ③能量（信息）集中 第三步：量化



a）当 qn 0 时，无损预测编码 b）当 qn 0 时，有损预测编码。 问题：如何使误差尽可能小？ 最优预测？
图像压缩_有损压缩
最佳预测器 预测器选择要满足两个要求： a)使均方预测误差最小，既：
ˆ n E e2 n E f n f

2

和 f n = i f n i
i 1 m
b)约束条件：
ˆ n e n f ˆ n f n f n e n f
常用的几种线性预测方案
①前值预测： fˆ xm , yn af xm1 , yn ②一维预测： fˆ xm , yn ai f xi , yn
游程编码：（5,6）（7,5）（3,3）（2,4）（1,7）
游程编码适合于二值图像编码，只有黑白出现。规定“0”游程开始。 例如：对于一个二元序列：0000001111100011001，对应的又称序列为：653221。然后根据不同 长度段发生的概率来分配不同长度的码字。
5）无损预测编码
无损预测编码跟有损预测编码一起讲解。
3、数据冗余
1)信息熵冗余：也称编码冗余，如果图像中平均比特数大于该图像的信息熵，则图像中存 在冗余，这种冗余称为信息熵冗余。 2)空间冗余：也称为像素间冗余或几何冗余，是图像内部相邻像素之间存在较强的相关性 所造成的冗余。 3)时间冗余：视频图像序列中的不同帧之间的相关性所造成的冗余。 4)视觉冗余：是指人眼不能感知或不敏感的那部分图像信息。 5)结构冗余：是指图像中存在很强的纹理结构或自相似性。 6)知识冗余：是指有些图像还包含与某些先验知识有关的信息。