16
MPEG-2视频解码过程 本节简述解码器将要执行的解码过程,实现从编码比特流中恢复 图像数据。 MPEG-2标准的视频部分给出了一个简化的视频解码过程,如下页 图所示,图中的二维数组以name[p][q]表示,其中p是竖直方向行数,q 是水平方向列数;
图：简化的解码图象
17
其中视频解码时根据图像类型的不同为两种情况 1、若图像是帧内编码图像帧,则解码该图像仅经过变长码解码、反扫 描、反量化、反向处理即可生成解码图像。 2、若图像是帧间编码图像（B帧,P帧),则解码该图像仅经过变长码解 码、反扫描、反量化、反向处理得到差分图像数据再根据运动矢量 和参考帧生成预测图像,最后将差分图像数据和预测图像相加得到解 码图像；
13
图： 在帧DCT编码中的亮度宏块结构
14
图：在场DCT编码中的亮度宏块结构
15
在色度块的情况下,其结构取决于所使用的色度格式。在4:2:2格式 和4:4:4格式下在宏块的垂直方向有两个块,色度块与亮度块同等对待。 然而,在4:2:0格式中,色差块将一直按帧结构进行组织,以满足编码目的。 六、块层（Block) 块是MPEG-2标准的另一个重要的数据处理单元,也是最小编码单位, 指的是8x8样本数据矩阵。“0”既可以指源图像数据和重构数据,也可 以指DCT系数或相应的编码数据单元。当“块”指图像数据或重构数据 时,它指的是亮度分量或色差分量。
6
MPEG-2视频编码结构 MPEG-2视频编码流分为个部分,如下图所示,自上而下包括如下子层 最高层是视频序列层,接下来是图像组层、帧图层、组块层、宏块层,最 后是块层“下图简述了视频序列压缩层的结构”除宏块层和块层外,其 余四层中都有相应的起始码,可用于出现错误后的同步。
7
一、图像序列层（Sequence) 图像序列层由序列头、一个或多个图像组和序列结束码组成,序列 头主要包括图像大小、宽高比、比特率、量化矩阵及扩展、图像显示、 框架等解码所需的信息； 二、 图像组层(GOP) 图像组层是由头信息,一帧或连续若干帧图像组成的可以随机访问 的一段以及结束码组成,头信息主要包括时间码等; 在图像组层中,以I帧 作为图像序列中的随机访问点,在I帧之后跟随一系列P帧和B帧,如图所 示,一个图像组至少包含一个I帧,且总是以I帧作为第一帧; 在编码过程中编码帧的顺序,也称为编码顺序,和解码器重建它们的 顺序解码顺序是一样的“但是解码器输出显示它们的顺序,即显示顺序, 并非总是和编解码顺序一样； 当在编码序列当中没有B帧时,编解码顺序和显示顺序是一样的;当 编码序列中有B帧时,编解码的顺序和显示顺序不同;举例说明,在顺序的 P帧间有两个B帧,或者在顺序的I帧和P帧间有两个B帧;帧“1I”用来为 帧“4P”形成预测,帧“1I”和帧“4P”共同用来为帧“2B”形成预测;由 此,编码序列中的编码帧的顺序应该是“1I”,“4P”,“2B”,“3B”而解码 器按的顺序“1I”,“2B”,“3B”,“4P”显示它们;
18
--The --The End ,thanKs-,thanKs thanKs--
19
12
一个4:4:4宏块由12个块组成。这种结构包括4个Y块,4个Cb块和 4个Cr块。块顺序如图描述；
图：4：4：4宏块结构
帧图中既会用到帧DCT编码,也会用到场DCT编码,对于每种情况, 宏块内部组织是不同的: (1) 帧编码中,每个块有两场的行交替组成,如图一所示 (2) 场编码中,每个块仅有两场中之一个场的行组成,如图一所示
3
MPEG-2 标准概述: MPEG-2 标准的正式名称是运动图象及其伴音信息的通用编码(Generic Coding of Moving Picture and Associated Audio Information),它制定于 1994年,其设计目标是高级工业标准的图象质量及更高的传输码率 MPEG-2标准(ISO/IEC 13818)由以下11部分组成: • ISO/IEC 13818-1 系统 (Systems) • ISO/IEC 13818-2 视频 (Video) • ISO/IEC 13818-3 音频 (Audio) • ISO/IEC 13818-4 一致性测试(Conformance Testing) • ISO/IEC 13818-5 软件仿真 (Software Simulation) • ISO/IEC 13818-6 数字存储媒体命令和控制扩展 (Extensions for Real Time Interface for Systems Decoders) • ISO/IEC 13818-7 高级音频编码( AAC, Advanced Audio Coding); • ISO/IEC 13818-8 10bit视频抽样编码,已终止; • ISO/IEC 13818-9 系统解码器实施接口扩展 （Extension for Real Time Interface for Systems Decoders); • ISO/IEC 13818-10 数字存储媒体命令和控制符合性扩展 (Conformance Extensions for DSM-CC) • ISO/IEC 13818-11 MPEG-2 系统知识产权管理和保护 (Intellectual Property Management and protection on MPEG-2 Systems) 4
11
五、宏块层（Macro Block) 宏块是一标准的一个重要的数据处理单元,是一个16x16的样本区 域数据,包含一部分亮度分量和空间相关的色度分量。一个宏块可以 有三种色差格式,即4:2:0,4:2:2和4:4:4格式。对于每种不同的色差 格式宏块中的块的顺序会有不同,阐明如下： 一个4:2:0宏块由6个块组成。这种结构包括4个Y块,1个Cb块和 1个Cr块;块顺序如图一描述； 一个4:2:2宏块由八个块组成。这种结构包括4个Y块,2个Cb块和 2个Cr块。块顺序如图二描述；
8
9
三、图象层（Picture) 图像层包含头信息和一帧图像所有的编码数据,头信息主要包括 时间参考,图像编码类型,即I、P和B三种类型: I 帧(intal picture)(也称帧 内编码帧),P图像(Predicted picture)(也称预测帧),B图像(也称双向预测 帧); I帧中的宏块只能采用帧内方式编码,不进行运动补偿,且所有块全 部编码;P帧中的宏块可以采用帧内方式编码,也可以采用前向预测的方 式进行编码,其参考帧只能是编码帧之前的帧,B帧中的宏块可以采用帧 内方式; 前向预测、后向预测或双向预测的方式进行编码,其参考帧可以 是编码帧之前、之后后向的帧,也可以是编码帧之前和之后双向两帧。 不仅仅如此,帧和帧中的宏块还可能被跳过称其为跳跃宏块,编码的宏 块中也可能包括不被编码的块。
视频编解码处理原理 及实际应用
Date:Nov-15Date:Nov-15-09 From: Kevin Cheng
பைடு நூலகம்
1
MPEG(Motion Picture Experts Group)是在 1998 年国际标准化组织 ISO 和国际电工委员会 IEC 联合成立的专家组，其任务是研制视频 压缩、音频压缩以及各种压缩数据流的复合和同步方面的国际标准。 1990 年制定出标准草案，1991 年成为国家标准，编号 ISO11172。 这个专家组开发的标准称为 MPEG 标准，包含三个子标准即 MPEG 系 统标准、MPEG 视频标准和 MPEG 音频标准。
10
四、组块层（slice) 组块由一个或多个相邻的宏块组成。组块的第一个和最后一个宏 块不能是跳过的宏块。一个组块至少包含一个宏块,组块间不能重叠。 组块按它们将要被遇到的顺序出现在比特流中,从图像的左上角开始, 按光栅扫描顺序从左到右,从上到下。 一般情况下,并不要求组块覆盖整幅图,如下图所示。在受限制的 组块结构中,图像的每个宏块都将被包含在某个组块中,见下图；如果 组块不覆盖整幅图,而这幅图随后被用来形成预测,那么预测只能由那 些图上被组块包含的区域作出预测。
5
量化器是将 DCT 变化后所得到的系数按照某个量化步长按比例缩小。 量化步长越小，量化精度就越细，包含的信息就越多，但是所需的传输 带宽就越大，编码器需要根据视觉感应准则，在量化精度和传输带宽之 间做折中，选取合适的量化步长对一个 8×8 的 DCT 变换块中的 64 个 DCT 变换系数进行量化，一般情况下，一个 DCT 变换块中的大多数高频 系数在量化后都变为零。将这种 8×8 的二维 DCT 系数进行之形扫描 (ZigZag)，将其转换为一维排列方式，转换的一维数组的前面是非零 DCT 系数，后面则是长串的量化为零的 DCT 系数，并基于此一维数组进 行游程编码，得到非零系数前的连零系数数量(即游程)和非零系数，从 而极大的提高压缩率。
2
MPEG-1： 数 字 电 视 标 准 ， 1992 年 正 式 发 布 ， 它 的 使 用 码 率 范 围0.8~1.5Mbit/s，是针对存储媒体的视频编码标准，只 应用于 VCD、CD-ROM 等数字存储介质上的视频和音频压缩。 MPEG-2：1994 年正式发布，它克服并解决了 MPEG-1 不能满足日益增 长的多媒体技术、数字电视技术对分辨率和传输率等方面的技术要求。 MEPG-2 主要是针对 4~9Mbit/s 运动图像及其伴音的编码标准，被广 泛应用于存储媒体、会议电视/可视电话、数字电视、高清晰度电视、 广播、通信、网络等应用领域。它是工业标准 DVD 的核心标准。 MPEG-4：于 1998 年 11 月制定的。它的目标是支持多种多媒体应用 (主要侧重于对多媒体信息内容的访问)，可根据应用要求不同来现场 配置解码器。 MPEG-4 主要针对以下两个方面的考虑:一是极低比特率下的多媒体通 信;二是多媒体通信的融合，主要有通信业、计算机业、消费类电子业 和娱乐影视业。它的适用码率范围为从 10kbit/s~1200Mbit/s。
MPEG-2 同时采用了预测编码、变换编码和统计编码技术，它采用 了一系列的编码手段消除系统冗余信息：利用二维离散余弦变化(DCT) 去除图像空间冗余度，利用运动补偿预测去除图像时间冗余度，利用视 觉加权量化去除图像灰度冗余度，利用熵编码去除图像统计冗余度。 利用这些技术，MPEG-2 图像压缩编码器的设计方案可概括为三部 分：有运动补偿的帧间差值、8×8 像素的自适应离散余弦变换和变字 长编码;其中 DCT 是一种空间变换，在 MPEG-2 中 DCT 以 8×8 的像 素块为单位进行处理，生成 8×8 的系数数据块，其特点是能将像素块 的能量集中在少数的低频DCT 系数上(生成的 8×8 DCT 系数块中，仅 左上角的少量低频系数数值较大，其余系数值很小)，这样传输的时候 就只需要传输少数系数。