收稿日期:2004202226;修返日期:2004206211基金项目:国家专项工程项目(“613”项目);国家杰出青年科学基金资助项目(60225015);高等学校优秀青年教师教学科研奖励计划资助项目视频的超分辨率增强技术综述3王　勇1,2,郑　辉1,胡德文2(11西南电子电信技术研究所国家重点实验室,四川成都610041;21国防科学技术大学机电工程与自动化学院,湖南长沙410073)摘　要:视频超分辨率增强的目的在于从时间上弥补视频采样设备采样帧率的不足,描述高速运动变化对象的细节信息;在空间上复原视频图像截止频率之外的信息,以使图像获得更多的细节。

这项技术广泛应用于视频通信、监控、遥感和高清晰度电视等多个领域。

从视频超分辨率的含义、发展现状、主要技术方法和未来研究展望等方面,对视频超分辨率增强领域的研究进行了综述。

关键词:视频;图像;超分辨率;时空中图法分类号:TP391 文献标识码:A 文章编号:100123695(2005)0120004204Survey on Video Super 2Resolution EnhancementW ANG Y ong 1,2,ZHE NG Hui 1,H U De 2wen 2(11National K ey Laboratory ,Southwest Institute o f Electronic &Telecommunication Techniques ,Chengdu Sichuan 610041,China ;21College o f Mecha 2tronics &Automation ,National University o f De fense Technology ,Changsha Hunan 410073,China )Abstract :Video super 2res olution enhancement technique has tw o main aims.T he first is rein forcing the sh ortage of video device framerate ,describing the details of fast 2m oving object.An other is recovering the lost image space in formation.T he technique is widely ap 2plied to many fields ,such as video communication ,surveillance ,rem ote 2sensing and H DT V.T his paper gives an overview of super 2res o 2lution in term of main used techniques.W ith the present problems in this area ,the paper gives s ome w ork and open issues that can be researched m ore in the future.K ey w ords :Video ;Image ;Super 2Res olution ;S pace 2T ime1　引言 视频的超分辨率增强是指融合来自相同动态场景的多个低分辨率视频序列的信息,去重构一个高时空分辨率的视频序列。

可想而知,视频超分辨率包括时间超分辨率和空间超分辨率。

视频中某些事件发生变化比较快,这样就需要用所谓高速(高帧率)的摄像机来采样,如果使用普通帧率的摄像机,那么在时间上就会有一些细节信息的丢失。

视频的时间超分辨率就是要恢复这些丢失的时间上的细节信息,而视频空间超分辨率就是通常人们提到的图像超分辨率复原。

摄像机在时间和空间上的分辨率能力是有限的。

空间分辨率取决于摄像机光学传感器的空间密度及其本身引入的模糊误差,这些因素限制了图像中被观察到的物体或特征的最小空间尺寸;时间分辨率取决于摄像机的帧率和曝光时间,这就限制了视频序列中能被观察到的动态事件的最大变化速度。

比摄像机帧率发生更快的动态事件在记录下来的视频序列中是不可见或者不正确的,如在网球比赛的视频中是不可能观察到高速运动的网球的全部运动和状态的。

有两类非常典型的由高速运动引起的可视化效果:①运动模糊,它是摄像机的曝光时间引起的,如高速运动的网球所带有的尾迹;②运动混淆,它是由于帧率限制的时间采样引起的,如一个小球以正弦波形向前运动,摄像机的帧率如果与小球正弦运动周期可比或相等,记录下的视频上就将观察到小球以很长的周期正弦运动或直线运动,这类似于一维信号的欠采样。

这两种视频效果都不能依靠视频的慢速播放而消除,甚至使用复杂的时间插值算法来增加帧率也收效甚微[1],这是因为包含在单个视频序列中的信息是不足以恢复高速动态事件中丢失的信息。

多个视频序列提供了附加的动态时空场景采样,这样就可融合这些信息去弥补丢失的信息,产生一个高时空分辨率的视频序列。

2　相关工作图像超分辨率的概念和方法最早由Harris 和G oodman [2,3]于20世纪60年代提出;随后有许多人对其进行了研究,并相继提出了各种方法,如长椭球波函数法[4]、线性外推法[5]、叠加正弦模板法[6]。

以上这些方法虽然能给出令人印象深刻的仿真结果,但在实际应用中并没有获得理想的结果。

80年代末之后,人们在超分辨率图像复原方法研究上取得了突破性的进展。

Hunt 等人不仅在理论上说明了超分辨率存在的可能性[7],而且提出和发展了许多有实用价值的方法,如能量连续降减法[8]、Bayesian 分析法[9～12]和凸集投影法[13]。

超分辨率・4・计算机应用研究2005年图像增强逐渐成为人们研究的热点,人们从多个角度对其进行了深入的研究。

20世纪90年代初Irani和Peleg将经过相似性变换和仿射变换的图像[14,15]进行超分辨率增强,Mann和Pi2 card又研究了经过投影变换的图像[16],其他的研究者还研究了非参数运动模型[10]和区域追踪[17]。

在成像建模方面,不同的图像污染模型被人们使用。

Irani和Peleg的图像污染模型包括光学模糊和空间量化误差,Bascle等将运动模糊也包含进来[17],Cheeseman等从Vidicon相机的基准调平中建立成像模型[18]。

人们在统计先验知识或调整规则的使用上也采取了不同的方法。

Cheeseman等使用了基于高斯平滑先验知识的M AP 估计器来增强卫星遥感图像[18];Schultz和S tevens on改进了Bayesian方法,通过在边缘响应上使用带Huber惩罚函数的MRF先验知识来比较单幅和多幅图像的增强方法[10];Capel和Z isserman也比较了M L和MPA估计器对视频马赛克效果的超分辨率增强[19];Z omet和Peleg应用Irani和Peleg的误差反向投影方法来增强他们使用管道投影方法获得的视频马赛克效果[20];Rudin等应用了重采样和去模糊方法,在去模糊算法中使用了总变差规则[21]。

利用序列和多幅图像进行超分辨率图像的增强也成为人们研究的热点[10,13,22,23],因为它充分利用了不同幅图像之间类似而又不同的信息,所以其超分辨率增强能力好于利用单幅图像进行增强所获得的超分辨率能力。

除以上所提到的,还有很多增加图像空间分辨率的方法被提出,这些方法多是融合子像素替换得到的多个低分辨率图像的信息[24,25]。

然而,这些方法通常是假设静态场景,而没有关注在动态场景中有限的时间分辨率。

随着视频应用需求的发展,视频分辨率增强逐渐被人们关注。

视频区别于静态图像的最重要的特征,就在于其时间特性以及时空联合特性。

通常视频摄像机采集帧率是50H z～60H z,电影被录制和播放在24H z, 25H z或30H z,而PC的显示器的图像刷新频率在60H z～120H z 之间。

这样,如果普通广播电视视频要在PC显示器上显示的话,必须在时间上进行插值处理。

一个好的运动补偿插值算法能够沿着运动轨迹将运动物体插值到当时正确的位置上,从而获得高质量的视频效果。

空间维和时间维是非常不同的,但又是相关的,这导致了视频在空间和时间上的折中。

时间分辨率的大幅度提高,通常是以空间分辨率的降低为代价的,反之亦然。

而这在传统的基于图像的空间超分辨率应用中是不存在的,这也带来了一些新的视频应用。

比如,靠增加时间分辨率来处理一些对空间分辨率的人为影响(如运动模糊),融合不同时空分辨率的输入序列(如NTS V,PA L以及高质量的静态图像)去产生一段高质量的视频序列,等等。

所以应该考虑一个统一的框架,融合来自时空未对准而获得的动态场景的多个视频序列信息,来增加视频的时空分辨率,这将提高动态事件的可视化能力,尤其是高速动态事件的表示能力。

这些已经开始成为视频超分辨率的研究热点。

3　视频超分辨率增强技术的主要方法对于视频序列图像或同一物体的多幅图像,如果图像之间存在着相互运动(如平移和旋转),则这些序列图像含有类似但不完全相同的信息。

基于序列或多幅图像的超分辨率增强就是利用这些不同但相互补充的信息以及物体的先验信息,从一系列低分辨率的图像恢复出高分辨率的单幅图像。

该思想与前述的单幅图像超分辨率复原法相比,其优点是除了利用物体的先验信息和单幅图像的信息之外,还充分利用了不同图像之间的补充信息,因此其超分辨率增强能力高于单幅图像超分辨率复原法。

视频超分辨率增强技术目前主要有以下三大类:基于重建的方法、基于学习的方法和基于插值运动估计补偿的方法。

3.1　基于重建的超分辨率方法基于重建的算法的基础是均衡及非均衡采样定理。

它假设低分辨率的输入采样信号(图像)能很好地预估出原始的高分辨率信号(图像)。

绝大多数超分辨率算法都属于这一类,其中主要包括频域法和空域法。

频域方法实际上是在频域内解决图像内插问题,其观察模型是基于傅里叶变换的移位特性[26]。

虽然频域方法理论简单,运算复杂度低,很容易实现并行处理,具有直观的去变形超分辨率机制,但这类方法只能局限于全局平移运动和线性空间不变降质模型,并且包含空域先验知识的能力有限。

因为目前这类方法不再成为研究的主流,所以本文也不再赘述。

在空域类方法中,其线性空域观测模型涉及全局和局部运动、光学模糊、帧内运动模糊、空间可变点扩散函数、非理想采样等内容。

此时成像模型可描述为:Y=HX+N。

其中,Y= [y1T…y k T]T表示像;H=[H1T…H k T]T表示运动补偿、欠采样和退化的影响;X表示原物;N表示噪声。