思考：
图像序列中的两幅相邻图像，后一幅图像与前一幅图
像之间有较大的相关，这是（ ）。 (A) 空间冗余 (B）时间冗余 (C) 信息熵冗余 (D) 视 觉冗余
16
下列哪一种说法是正确的： A. 信息量等于数据量与冗余量之和 B. 信息量等于信息熵与数据量之差 C. 信息量等于数据量与冗余量之差 D. 信息量等于信息熵与冗余量之和
（3）对上部分子序列编码为“0”，相当于左子树，对下部分子序列编
码为“1”，相当于右子树。 （4）重复上述步骤，直到每个子序列只包含一个符号为止。
30
举例：有信源字符序列S为： aaabbceeehddabafffbdddgghhabccedabdgghha 其长度为40个字符，由a、b、c、d、e、f、g、h共 8种字符构成。假设在编码之前，每种字符出现的概 率已由某种模型统计出来，用<字符>-<出现次数>来 表示，具体值分别为： a-8，b-6，c-3，d-7，e-4，f-3，g-4，h-5
结构冗余
--在有些图像的纹理区，图像 的像素值存在着明显的分布模式，例 如，方格状的地板图案等。我们称此 为结构冗余。 --已知分布模式，可以通过某 一过程生成图像。
知识冗余
--有些图像的理解与某些知识有相当 大的相关性。例如，人脸的图像有固定的 结构。这类规律性的结构可由先验知识和 背景知识得到，我们称此类冗余为知识冗 余。
视觉系统对图像的亮度和色彩度的敏感性相差很大； 随着亮度的增加，视觉系统对量化误差的敏感度降低；
人眼的视觉系统在图像的边缘和非边缘区域分开来处理；
人类的视觉系统总是把视网膜上的图像分解成若干个空间 有向的频率通道后再进一步处理。
图像区域的相同性冗余
--它是指在图像中的两个或多个区域所对应的所有像素值相 同或相近，从而产生的数据重复性存储，这就是图像区域的相似 性冗余。
M=D-∆d 其中M表示实际媒体信息，D表示数字化后的采 样数据，∆d表示数据冗余量。
数据压缩就是从采样数据中去除冗余，即保留原始信 息中变化的、特征性信息，去除重复的、确定的或可推知 的信息，在实现更接近实际媒体信息描述的前提下，尽可 能的减少描述用的信息量。
3
6.1.2 多媒体数据的冗余
随着计算机技术的高度发展以及通信、计算机和大众传媒三大技 术的相互融合，计算机已经不再局限于数值计算、文字处理的范 畴，而成为处理图形、图像、视频、音频等多种信息的工具。但 数字化后的声音、图像、视频和音频等多媒体数据是非常庞大的。 例如： 一页在A4（216mm×300mm）纸上的照片，以300dpi（12像素 /mm）采样，每个像素用24位真彩色信号表示，其数据量约为 27MB/页，650MB的CD-ROM只可放24页； 双声道立体声光盘，采样率是44.1kHz，采样精度16位，一秒钟数 据量是44.1×16×2/8=172KB/s，一张CD只能存放约1小时的声音。
25
每种字符的信息熵就是该字符编码所用的理 想位数（二进制）。整条信息的熵就是表达整个 字符串需要的位数（这里用字符出现的次数代替 概率）： H(X)=-∑Pi×log2(Pi) =H(a)×3+H(b)×4+H(c)×2+H(d)×1 =18.465(bit)
若用ASCII编码， 需要多少bit？
时间冗余
--这是序列图像（电视图像、运动图像）表示中经常包 含的冗余。
--序列图像一般为位于一时间轴区间内的一组连续画面， 其中的相邻帧往往包含相同的背景和移动物体，只不过移动 物体所在的空间位置略有不同，所以后一帧的数据与前一帧 的数据有许多共同的地方，这种共同性是由于相邻帧记录了 相邻时刻的同一场景画面，所以称为时间冗余。
31
解：首先将信源符号按概率递减顺序排列，形成图（a）所示
结果，然后，再把符号序列分成上下两部分，使上下两部分的 概率和相等或接近相等，形成图（b）所示结果。其中上部分符 号序列概率和为21，编码为0；下部分为19，编码为1。
--根据已有的知识，对某些图像中所 包含的物体，我们可以构造其基本模型， 并创建对应各种特征的图像库，进而图像 的存储只需要保存一些特征参数，从而可 以大大减少数据量。知识冗余是模型编码 主要利用的特性。
视觉冗余
--事实表明，人类的视觉系统对图像场的敏感性是非均匀 和非线性的。然而，在记录原始的图像数据时，通常假定视觉 系统是线性和均匀的，对视觉敏感和不敏感的部分同等对待， 从而产生了比理想编码（即把视觉敏感和不敏感的部分区分开 来编码）更多的数据，这就是视觉冗余。 --通过大量实验，发现以下视觉的非均匀特 征。
0 1 N 1
信息熵冗余
图 26个英文字母相对频率
空间冗余
--同一景物表面上各采样点的 颜色之间往往存在着空间连贯性，但 是基于离散像素采样来表示物体颜色 的方式通常没有利用景物表面颜色的 这种空间连贯性，从而产生了空间冗 余。 --可以通过改变物体表面颜色 的像素存储方式来利用空间连贯性， 达到减少数据量的目的。
18
6.1.3 数据压缩技术的发展过程（续）
数据压缩标准逐渐形成，有损压缩算法快速出现。 1986年开始制定静态图像压缩标准， 1994 年后成为 国际标准，称为JPEG标准。 ITU制定的电视会议系列标准（H.261、H.262、 H.263 、H.264等）以及由ISO制定的视频系列标准（MPEG1、MPEG-2、MPEG-4）中，均采用了有损压缩原理作为其核 心压缩算法。其中的MPEG-4标准（相当于ITU的H.263和 H.263+标准）是为了适应网络视频的需求特点而制定的， 具有更高的压缩比、支持并发数据流编码、基于内容的交 互操作、增强的时间域随机存取、容错、基于内容的尺度 可变性等新特性。
越大，其表达的信息量就越多，冗余量就越少。
23
信息熵
信息熵用来度量信息量的大小。对于单个事件（如字
符）来说，其信息熵定义为： H（i）= - log2(Pi)（bit) （1） 公式（1）表示发生概率为Pi的事件i所具有的信息熵为 H(i)，单位为bit（比特）。
24
对于一个消息队列（如字符串）的信息熵定义为： H(X) = -∑Pi×log2(Pi)= ∑Pi×H(i) （2） 其中，Pi表示某一事件i发生的概率。 例如：有一字符串“babbdcaacb”包含a、b、c、d四种字符， 其长度为10，字符a、b、c、d分别出现了3、4、2、1次，则a、 b、c、d在信息中出现的概率分别为0.3、0.4、0.2、0.1，它 们的熵分别为： H(a)=-log2(0.3)≈1.737（bit） H(b)=-log2(0.4)≈1.322（bit） H(c)=-log2(0.2)≈2.322（bit） H(d)=-log2(0.1)≈3.322（bit）
28
29
6.2.2 无损压缩编码
1、Shannon-Fano编码 简称为S-F编码，是一种变长编码，其基本思想是按信 源符号出现的概率大小进行排序，出现概率大的分配短码， 反之则分配长码。具体编码过程如下：
（1）信源符号按概率递减顺序排列。 （2）把符号序列分成上下两部分，使上下两部分的概率和相等或接近 相等。
20
4、按照算法思想
分为信息熵编码、预测编码、变换编码、混合编码以及其 他编码等五种，每种类型包含了一些具体算法，如下图。
21
6.1.5 数据压缩的主要指标
衡量不同压缩方法优劣的技术指标是相同的，主要包括 以下几个方面。 1）压缩比：指压缩前后的数据量之比，它反映了施加某 压缩算法之后，数据量减少的比例； 2）恢复效果：指经解压缩算法对压缩数据进行处理后所 得到的数据与其表示的原信息的相似程度； 3）算法简单、速度快：主要指实现算法的复杂度。
5
6.1.2 多媒体数据的冗余
一般而言，多媒体数据中存在的数据冗余情况主要 有以下几种(P107)： •信息熵冗余 •空间冗余 •时间冗余 •结构冗余 •知识冗余 •视觉冗余 •听觉冗余 •纹理的统计冗余
6
信息熵冗余
信息熵定义为一组数据所表示的信息量，即
E pi log2 pi
i 0 N 1
式中，E为信息熵，N为数据的种类(或称码元)个数， Pi为第i个码元出现的概率。 一组数据的数据量显然等于各记录码元的二进制位数 (即编码长度)与该码元出现的概率乘积之和，即
D pi bi
i 0 N 1
式中，D为数据量，为第i个码元的二进制位数。 一般取 b b b (如ASCII编码把所有码元都编码为7 比特)，这样得到的D必然大于E。这种因码元编码长度 的不经济带来的冗余称为信息熵冗余或编码冗余。
19
6.1.4 数据压缩的分类
1、按照压缩内容
分为音频数据压缩、静态图像数据压缩、视频数据压 缩和其他数据文件压缩等四种类型。 2、按照压缩方式 分为对称压缩和非对称压缩两种类型。 3、按照压缩效果 分为有损压缩与无损压缩两种类型。普通数据文件， 一般采用无损压缩，对于冗余度较小的图像，需要采用 有损压缩。
26
2、编码
编码实质上是对要处理的源数据或源文件按一定的规 则进行变换（映射），力图用尽可能少的符号代码来表示 较多、较长的源符号信息。编码方法中的码字（代码）有 固定长度和可变长度两种。
3、压缩模型
模型是规则和数据的集合，即：压缩算法=模型+编码
27
4、压缩、还原
压缩是指设法去掉部分或全部冗余，从而减少 文件或数据所占的存储空间； 还原（解压缩）则是指利用相反的算法使文件 或数据恢复原状。
4
6.1.2 多媒体数据的冗余
对于如此巨大的多媒体数据，如果不经过压缩，不 仅超出了计算机的存储和处理能力，而且在现在的通信 信道的传输速率下，是无法完成大量多媒体信息的传输 的，多媒体数据的高速传输和储藏所需要的巨大容量已 经成为多媒体数据通信技术的最大障碍。因此，为了存 储、处理和传输这些数据，必须进行压缩。