Abstract： GIobaI motion compensation coding is a noveI coding method based on modeIs. Its coding efficiency is higher than that of conventionaI coding method with motion compensation， so it is fit for very Iow bit-rate appIications. But the key technoIogy of gIobaI motion compensation coding is not soIved weII at present， such as gIobaI motion estimation， so gIobaI motion compensation coding has not been appIied wideIy in reaI-time appIications. This paper focuses some research on key probIems of gIobaI motion compensation coding to soIve reaI-time gIobaI motion compensation coding. The new fast method of gIobaI motion estimation is proposed and is used in gIobaI motion compensation coding， thus the speed of gIobaI motion compensation coding is acceIerated. Comparative experimentaI resuIts are shown in the paper. The speed of gIobaI motion compensation coding is improved compared with former method of gIobaI motion compensation coding. Key words： coding； gIobaI motion compensation； motion estimation
2 （1） 在迭代计算时采用 wi =（ I"i I + 1 /#） （ / #2 + "2 i） 加 权， 其中# 为残差的标准方差， 当残差 "i 比# 大许多时， 权值
就会很快减小， 这样可以增加算法的鲁棒性， 权值函数图可以 见图 2 .
图2
权值函数 w = （ I" I + 1 /#）
2 （ ， / #2 +"2 ） #1 = 2.0， #2 = 3.0
码中的一些关键技术 （全局运动估计） 的计算量比较大， 所以使得全局运动补偿编码还不能在实时应用中得到很好应 用 . 本文就针对全局运动补偿编码中核心技术进行研究， 提出快速全局运动补偿编码算法， 解决全局运动补偿实时编 码问题 . 通过和 MPEG-4 中已有的全局运动补偿编码方法实验比较可以看到本文提出的快速全局运动补偿编码方法 在保证编码效率的同时编码速度得到了很大提高 . 关键词： 编码；全局运动补偿；局部运动补偿；运动估计 TN919.8 文献标识码： A 文章编号： 0372-2112（2001）02-0175-03 中图分类号：
［5， 6］ 高带宽的有效利用 . 本文就对全局运动补偿编码中的关
的 . 通常情况下， 背景对象没有自身运动， 由于摄像机运动才 造成了图像序列中的背景变化， 在对这样背景的视频进行编 码时适合采用全局运动补偿编码方法 . 它的基本原理是在编 码时， 首先通过全局运动估计技术计算出相机运动模型的模 型参数， 然后通过运动模型参数进行运动预测， 最后对运动参 数和补偿后的残差进行编码 . 它属于 sprite 编码 的一种 . 从 信息论的观点看， 由于这些在同一场景中拍摄的视频段中每 帧之间的背景图像是相关的， 而全局运动补偿编码就是利用 这些相关性进行编码 . 然而在 MPEG-2 运动补偿方法中只是 利用了相邻帧之间的局部相关性， 而没有考虑背景整体相关 性， 从这一点看全局运动补偿编码要比传统运动补偿方法要 优越 . 由于全局运动补偿编码要通过全局运动估计得到摄像机 的运动模型参数， 而全局运动估计计算量非常大， 所以很难做
A Fast Global Motion Compensation Coding Method
HE Yu-wen， ZHONG Yu-zhuo， YANG Shi-giang
（ Computer Science and Technology Department ， Tsinghua Uniuersity ， Beijing 100084， China ）
第2期 2001 年 2 月
电 子 学 报 ACTA ELECTRONICA SINICA
VoI . 29 No. 2 Feb. 2001
一种快速全局运动补偿编码方法
贺玉文， 钟玉琢， 杨士强
（清华大学计算机系， 北京 100084）
摘
要： 全局运动补偿编码是一种基于模型的编码方法， 它可以提高编码效率， 但是目前由于全局运动补偿编
数!， 使得 R （ 取得最小值， 从而得到参数的最佳估计 . 用 !） ［3］ 可以迭代求 Gauss-Newton 方法或者 Levenberg-Marguadet 方法 通过目标函数 R （ 在该点 解 . 假设在已有第 I 步的参数!I ， !） 作泰勒展开来近似 R （ ： !） 1 T T （ （ ） R + !（ + （! "（ I ! !） "R !I ） !I ） !I ） （2） I ! 2 !I 其中 !I 和 "I 分别是 R （ 在 !I 处的梯度矩阵和 Hessian 矩 !） 阵： !I = # T "I = # T I$ I$#I + ! "I ， "iwiHiI
［1］ 后对残差进行编码， 中 LMC 有两种方式， 一种对 16 MPEG-4 宏块采用一个运动矢量进行预测， 该方式用 X 16 INTER 表
该像素点在前一帧图像中的对应位
置 . 它们的对应关系用六参数仿射参数模型表示：
{
x' i = axi + byi + c y' i = axi + eyi + f
收稿日期： 修回日期： 2000-05-22； 2000-09-08 基金项目： （ No. 863-306-ZT03-09） 863 计划资助项目
［1］
键技术全局运动估计进行了深入研究， 并提出了快速全局运 动估计方法， 从而大大提高了全局运动补偿编码的编码速度 . 本文第二部分将详细讲述快速全局运动补偿编码方法， 第三部 分 利 用 MPEG-4 的 参 考 软 件 平 台 校 验 模 型 （ VM） 和 来 MPEG-4 中已有的全局运动补偿编码算法进行了比较实验， 验证本文算法的改进性能， 第四部分对全局运动补偿实时编 码进行总结， 提出今后待研究的问题 .
图3
全局运动补偿 编码的预测
图1
全局运动补偿 编码过程
（2） 由于微分运算易受噪声影响， 梯度较小时受噪声影响 较大， 所以在图像中梯度小的点的梯度值是不可靠的， 在迭代 计算中可以选取梯度较大的点进行计算， 本文算法是取平均 梯度 1.25 倍和 1.65 倍之间点， 这是从实验统计中得出的 . （3） 用三层金字塔进行快速估计， 在金字塔前两层计算时 采用基于直方图的方法去除外点： 根据当前运动参数进行补 偿后得到残差图像， 然后根据残差图像直方图中 90% 处得到 阈值， 最后就可以去除残差大于阈值的点； 而由于前景区域有 集中性， 所以在三层金字塔计算的最后一层计算时， 采用残差 块的方法去除外点： 首先用初始参数计算残差， 然后将图像分 成 16 X 16 的块， 再计算每个块的残差值 （将该块内所有点残 差相加） ， 最后就将块残差较大 （1 / 3 左右） 并且有聚集在一起 （8 连通） 特性的块作为外点整体去除 . !"!"! 全局运动补偿和局部运动补偿方式选择 在全局运动补偿编码中由于既有全局运动， 这是由摄像 机运动引起的， 又有局部运动， 前景物体自身运动， 因此编码 就要有选择性的使用全局运动补偿 （ GMC） 和局部运动补偿 （LMC） ， 使得运动估计的残差最小， 以节省码率 . 全局运动补 偿就是使用运动参数进行预测 （图 3） ， 而局部运动补偿就是 采用一般 MPEG1 / MPEG-2 中使用的运动预测并进行补偿， 最
i
T ［ r1 r2 … rN ］ 表示!I 处的残差， #I = # $ 是对角方 "I = " /# !， 阵且 Wii = wi ， 如果残差 " 是比较小， "iI 是"i 的 Hessian 矩阵，
那么可以做如下近似： 根据方程 （ "I " # T /# I$#I ， #R !） != 0 由 方程 （2） 可以得到： （ （3） #T = - #T I$# I$ !I ） "I I ! 根据方程 （3） 就可以得到 !I 处的增量， 这样就可以求出下一 步参数： ， 这样迭代就可以逐步减小目标函数 = + . !I + 1 !I ! !I 全局运动估计是基于密度估计 （最小二乘原理） 的， 对外 点比较敏感， 而图像中既有背景全局运动也有前景物体的局 部运动， 这些局部运动点对于全局运动估计来9; （ x' ， 分别表示这当前图像和根据参考帧得 I x， y） y' ） T 到的预测图像， 用 ! =（ a ， 表 示 参 数 矢 量， b， c， i， e， f） I' （ x' ， 是参数矢量 ! 的函数， 则目标能量函数为： （ y' ） R !）=