当前位置:文档之家› 第五章序列图像编码及运动估计

第五章序列图像编码及运动估计


采样结构分类:
① 正交结构:在图像平面上沿着水平方向采样点等 间隔排列,沿垂直方向采样点上下对齐排列。 ② 行交叉结构:每行内采样点数为整数加半个。
(a)
正交结构
(b)
行交叉结构
3.数字视频的采样格式
在复合电视信号中,亮度信号的带宽是色度信 号带宽的两倍。因此其数字化时可采用对信号的 色差分量的采样率低于对亮度分量的采样率。用 Y:U:V来表示YUV三分量的采样比例,则数字视 频的采样格式有如下4种: (1)Y:U:V=4:4:4
5.2 视频信号的数字化
5.2.1 电视制式

帧:一段视频中的每一幅图像称为一帧。
根据视觉暂留原理,要使人的视觉产生连续的动 态感觉,每秒钟图像的播放帧数要在24~30(帧频)


帧频:每秒播放的帧数。 电视制式:即电视的播放标准(扫描分辨率、帧 频、色彩空间的转换关系不同)。
目前国际上有三种不同的电视制式:


(3)Y:U:V=4:1:1

这种方式是在每4个连续的采样点上,取4个亮 度Y的样本值,而色差U、V分别取其第一点的 样本值,共6个样本,每个像素用1.5个样本表 示。

色差信号在在水平方向上采样点数为亮度信号的
1/4,而在垂直方向上的采样点数相同。
采样格式
× × × × × × × × × ×
(2)分量数字化:从复合彩色电视图像中分离出 彩色分量的亮度和色度,得到YUV或YIQ分量,然 后用3个模/数转换器对3个分量分别进行数字化, 最后再转换成RGB空间,此种方法称为分量数字 化。 分量数字化是视频信号数字化的主流。

2.视频信号采样结构的选择
概念:
采样结构是指采样点在空间与时间上的相对位置。
色度(Cb) 144 色度(Cr) 144
5.3 视频信号编码方法
5.3.1 视频信号编码基础 一、视频信号编码的依据: 1、视频信号编码的出发点:
对于活动图像,相邻帧的时间间隔很短 (1/251/30s),在景物运动不很剧烈场合,相邻帧 间相关性很强。编码时充分利用活动图像的相邻 帧(在时间轴方向)的相关性进行预测。
① NTSC; ② PAL; ③ SECAM
1. NTSC(national television system committee),
是国家电视制式委员会的缩写。
美国研制的一种与黑白电视兼容的彩色电视制式。 帧频:每秒播放30帧画面 扫描行数(扫描分辨率):每帧有526行像素 美国、加拿大、日本、韩国、菲律宾、台湾等
SECAM编码解码方式与PAL制式完全不同。
SECAM是一种顺序同时制。是采用错开传输时 间的方法(时分原则)来避免串色以及造成的 彩色失真。
SECAM制式优点: 传输失真对色度信号影响小,大面积彩色图像几乎 不受微分增益和微分相位失真的影响,受传输通道 频率特性和多径接收的影响也不大。
不同电视制式的技术指标
使用非隔行扫描(Non-Interlaced Scan)。
使用NTSC帧速率,电视图像的最大帧速率为30 000/1001≈29.97幅/秒。
下表是CIF、QCIF和SQCIF图像格式参数。
CIF 行数/帧 亮度(Y) 288 像素/行 360(352) 180(176) 180(176) QCIF 行数/帧 144 72 72 像素/行 180(176) 90(88) 90(88) SQCIF 行数/帧 96 48 48 像素/行 128 64 64
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
×
4:1:1采样格式
×表示亮度Y采样点

表示色度UV采样点
(4)Y:U:V=4:2:0
4:2:0子采样格式是指分别在水平和垂直方向 上每2个连续的采样点上取2个亮度Y样本、1 个红色差Cr样本和1个蓝色差Cb样本,平均每 个像素用1.5个样本表示。
色差信号分别在水平方向和垂直方向上采样点 数为亮度信号的1/2。
第五章 序列图像编码及运动估计
中国矿业大学 信电学院
主要内容

5.1 概述


5.2 视频信号的数字化
5.3 二维运动估计 5.4 采用时间预测和变换编码的视 频编码
5.1 概述
概念:活动图像信号,也称为数字序列图像或连
续帧图像,指由多幅尺寸相同的静止图像组成的图 像序列。例如数字化后的电视或视频信号。
2、视频信号编码的依据:
依据1:从信源角度看,自然景物大多都处于相 对不变或缓变状态,为帧间相关性存在前提条件。
帧间预测典型情况:可视电话图像 可视电话图像内容通常为一个细节不十分复杂 背景前,有一个活动量不大的单个人物的头-肩像。 假定人位置在 第k帧与第k-1 帧相比有一定 x方向位移,可 将画面分为3 个各具特点区 域: 背景区、运动物体区、暴露区
4.5
6.5
6.5
5.2.2 视频信号的数字化
1.视频信号数字化方法分类

(1)复合数字化:先用高速模/数转换器对彩色全 电视信号进行数字化,然后在数字域中进行分离亮 度和色度,以获得所希望的YUV(PAL,SECAM 制 ) 分 量 或 YIQ ( NTSC 制 ) 分 量 , 最 后 转 换 成 RGB分量数据。此种方法称为复合数字化。
× × × × ×
× × × × ×
× × × × ×
× × × × ×
× × × × ×
× × × × ×
××Leabharlann ××××
4:4:4采样格式
×表示亮度Y采样点

4:2:2采样格式
表示色度UV采样点
(2)Y:U:V=4:2:2

这种方式指在每条扫描线上,在每4个连续的采样 点上,取4个亮度Y的样本值,而色差U、V分别取 其第一点和第三点的样本值,共8个样本,平均每 个像素用2个样本表示。这种方式能给信号的转换 留有一定余量,效果更好一些。 这是通常所用的方式,每4个连续的采样点取4个 亮度Y样本、2个红色差Cr样本和2个蓝色差Cb样 本,结果相当于平均每个像素用2个样本表示。 色度信号在水平方向上采样点数为亮度信号的一 半,而在垂直方向上的采样点数相同。
(4)CIF、QCIF和SQCIF
为了兼容625行的电视图像和525行的电视图像, CCITT 定 义 了 公 用 中 分 辨 率 格 式 CIF ( Common Intermediate Format ) , 1/4 公 用 中 分 辨 率 格 式 ( Quarter-CIF , QCIF ) 和 ( Sub-Quarter Common Intermediate Format,SQCIF)格式。 CIF格式具有如下特性: 电视图像的空间分辨率为352×288。
采样格式
4:2:0采样格式
MPEG1、H.261支持
4:2:0采样格式
MPEG2支持

×表示亮度Y采样点
表示色度UV采样点
扫描方式小结

电视图像既是空间的函数,也是时间的函数,
而且又是隔行扫描式,所以其采样方式比扫描
仪扫描图像的方式要复杂得多。分量采样时采
到的是隔行样本点,要把隔行样本组合成逐行
帧频:每秒播放25帧画面 扫描行数(扫描分辨率):每帧有625行像素 西欧国家、新加坡、澳大利亚、中国大陆以及香 港等
PAL制式基本原理:
采用逐行倒相正交平衡调幅的色度信号,解 调时先经过逐行梳状滤波器将色度信号分离 后再同步检波;最后利用视觉平均作用补偿 小幅度串色所引起的彩色偏差。

指在每条扫描线上在水平和垂直方向上每4个连 续的取样点取4个亮度Y样本、4个红色差Cr样本 和4个蓝色差Cb样本,相当于每个像素包含3个 样本。即对每个采样点,亮度Y、色差U和V各取 一个样本,也就是每个像素用3个样本表示。
采样格式
× × × × ×
×
×
× × × × ×
×
×
× × × × ×
× × × × ×
TV制式
帧频/Hz 行/帧 亮度带宽/MHz 彩 色 幅 载 波 /MHz 色度带宽/MHz 声音载波/MHz
NTSC
30 525 4.2 3.58
1.3(I),0.6(Q)
PAL
25 625 6.0 4.43
1.3(U),1.3(V)
SECAM
25 625 6.0 4.25
>1.0(U), >1.0(V)
其中的每幅静止图像称为一个帧。 活动图像与静止图像相比,可以认为多了一个 时间轴,成为三维信号,因此活动图像也被称为三 维图像。 活动图像都是一帧一帧地传输,看作一个沿时间轴 分布的图像序列,统称为序列图像。 这里主要讨论序列图像中的视频图像的压缩编码
视频图像压缩编码分类:
帧内编码:也称为空间压缩。利用每幅(单帧) 图像内部的相关性进行帧内压缩编码。当压缩一 帧图像时,仅考虑本帧的数据而不考虑相邻帧之 间的冗余信息。帧内一般采用有损压缩算法。压 缩后的视频数据仍可以以帧为单位进行编辑。帧 内压缩一般达不到很高的压缩。 帧间编码:也称为时间压缩。利用时间轴上相 邻帧之间的相关性(前后两帧信息变化很小)进行 帧间压缩编码。帧间压缩一般是无损的。 混合编码:为不同的编码方法组合在一起相结 合的编码方法。如变换编码和帧间预测编码。
NTSC制式优点:
在信号传输无失真情况下,具有比较高彩色图 像质量;兼容性好;重现的彩色图像无明显的 “爬行”和亮度闪烁现象;较易于实现信号处 理;色度信号的形成和分离都比较简单。 2. PAL(Phase Alternation Line),
是相位逐行交替的缩写。西德在1962年研制的一 种与黑白电视兼容的彩色电视制式。
相关主题