数字视频处理课件
为减少编码的复杂性,使视频编码操作易 于执行,首先把一幅图像分成固定大小的 宏块(Macroblock, MB),以亮度为基准, 通常为16×16块(每块16行,每行16个像 素)
在宏块中可以进一步分块,例如8×8块 (每块8行,每行8个像素)、16×8块、 4×4块等等,然后对块进行压缩编码处理 色度按照采样或子采样格式对应计算
3.1.1 视频压缩编码的必要性
未经过压缩的原始视频的码率:
720p高清电视(30fps,4:2:0): 1280×720×30×8×1.5 = 316.41Mbps 1080p高清电视( 60fps,4:2:2): 1920×1080×60×8×2 = 1.85Gbps 100分钟的720p高清电视节目(30fps, 4:2:0 )大小可达约231.74 GB
有些图像从大面积上或整体上看存在着重 复出现的相同或相近的纹理结构,例如布 纹图像和草席图像,被称为结构冗余
其它冗余
信息熵冗余(统计冗余、编码冗余):调 整编码(coding)方式可以减少码字的数 据量,即编码的效率
视觉冗余:人类的视觉系统实际上只在一 定程度上对图像的变化产生敏感,即图像 数据中存在着大量人类视觉觉察不到的细 节 ……
3.1.5 视频压缩编码技术概述
从上世纪80年代开始逐渐形成了混合视频 编码(Hybrid video coding/encoding)技术, 并成为之后一系列视频编码标准的基础框 架
视频压缩编码技术概述
视频编码方法与采用的信源模型有关
如果采用“一幅图像由许多像素构成”的 信源模型,这种信源模型的参数就是每个 像素的亮度和色度的幅度值。对这些参数 进行压缩编码技术称为基于波形的编码 如果采用一个分量有几个物体构成的信源 模型,这种信源模型的参数就是各个物体 的形状、纹理和运动。对这些参数进行压 缩编码的技术被称为基于内容的编码
3.1.2 视频压缩编码的可能性
信息之所以能进行压缩,是因为信息本身 通常存在冗余量 在数据存储或传输时,通过选择优化的信 源编码方案,消除了冗余,也就达到了数 据压缩目的
信源/信道
信源就是信息的来源,可以是人、机器、 自然界的物体等等。信源发出信息的时候, 一般以某种讯息的方式表现出来,可以是 符号,如文字、语言等,也可以是信号, 如图像、声响等等
信道就是信息传递的通道,是将信号进行 传输、存储和处理的媒介。信道的关键问 题是它的容量大小,要求以最大的速率传 送最大的信息量
信源编码/信道编码
为了减少信源输出符号序列中的冗余度、 提高符号的平均信息量,对信源输出的符 号序列所施行的变换称为信源编码
对输入信息进行编码,优化信息和压缩信 息并且打成符合标准的数据包 信道编码是为了对抗信道中的噪音和衰减, 通过增加冗余,如校验码等,来提高抗干 扰能力以及纠错能力
3.1.3 无损压缩与有损压缩
无损压缩可完全恢复数据而不引入失真。 由于整个编解码过程中,信源信息的熵始 终保持不变,因此无损压缩又被称为熵保 持编码,无损压缩的编码效率受信息的熵 限制,压缩率通常在2至5倍。无损编码包 括:变换编码、 游程编码、算术编码等
无损压缩与有损压缩
有损压缩则是利用人眼视觉特性(HVS: Human Vision System),对人眼不敏感的 某些图像细节信息进行压缩甚至忽略不编 码,因此在解码恢复的过程时,不能完全 恢复数据的全部信息,引入了失真,但是 对于图像的最终接收者(人眼)而言,获 得的信息的变化不大(即无大的视觉失 真),同时获得较大的压缩率(10到200倍 )
信息熵
信息是个很抽象的概念,我们常常说信息很 多,或者信息较少,但却很难说清楚信息到 底有多少,直到 1948 年,香农提出了“信 息熵”(Entropy)的概念,才解决了对信息 的量化度量问题
信息熵是用于度量信息量的一个概念。一个 系统越是有序,信息熵就越低;反之,一个 系统越是混乱,信息熵就越高。所以,信息 熵也可以说是系统有序化程度的一个度量
无损压缩与有损压缩
在常用的视频编码应用中,有损编码是与 无损编码进行混合编码
3.1.4 视频压缩编码的目标
视频信号由于信息量巨大,存储空间要求 高、传输网络带宽要求高,需要将视频信 号在传送前先进行压缩编码,即进行视频 源压缩编码,然后在网络上进行传送或者 存储,以便节省传送带宽和存储空间
视频压缩编码的基本目标要求: 1)必须压缩在一定的带宽内,即视频编 码器应具有足够的压缩比
视频压缩编码的目标
2)视频信号压缩之后,应保持一定的视 频质量 如果不问质量,一味地压缩,虽然压缩比 很高,但压缩后严重失真,显然达不到要 求;反之,如只讲质量,压缩比太小,也 不符合要求
3)在以上两个要求下,视频编码器的实 现应力求简单、易实现、成本低、可靠性 高,这也是基本的要求
视频压缩编码技术概述
由此可见,根据采用信源模型,视频编码 可以分为两大类,基于波形的编码和基于 内容的编码
它们利用不同的压缩编码(Encoding)方 法,得到相应的量化前的参数;再对这些 参数进行量化;最后,进行无损熵编码进 一步提高效率 解码(Decoding)则为编码的逆过程
视频编码分块
时间冗余
在视频序列中,前后两帧图像(时间间隔 很短)之间具有较大的相关性,表现出帧 与帧之间的重复,因而存在时间冗余
这是视频信号中所经常包含的冗余
(a)
(b)
空间冗余
在同一幅图像中,规则物体和规则背景 (所谓规则是指表面颜色分布是有序的、 而不是完全杂乱无章的)的表面物理特征 具有相关性,这些相关性的光成像结构在 数字化图像中就表现为数据冗余
同一帧图像中相邻的像素之间具有很强的 相关性
知识冗余
有许多图像的理解与图像所表现内容的基 础知识(先验或背景知识)有相当大的相关 性,从这种知识出发可以归纳出图像的某 种规律性变化,这类冗余称为知识冗余。 知识冗余的一个典型例子是对人像的理解, 比如,鼻子上方有眼睛,鼻子又在嘴的上 方等
结构冗余