超分辨率图像处理技术是利用多帧关于同一场景的有相互位移的低分辨率降质图像来重建高分辨率高质量图像的技术。

介绍了超分辨率图像处理技术的概念和起源;综述了超分辨率图像恢复研究现状。

重点对单帧和多帧超分辨率图像处理的主要方法进行了评述,并总结对比了频域和空域方法的优缺点。

最后对超分辨率图像处理技术的技术难点和前沿问题研究前景进行介绍和展望。

0引言图像超分辨率处理技术是指利用多帧关于同一场景的有相互位移的低分辨率降质图像(LR,lowresolution)来重建高分辨率高质量图像(HR,highresolution)的技术[1]。

图像超分辨率处理技术可突破图像采集设备的分辨率限制,充分利用多帧图像之间的互补信息,实现像素级的图像信息融合。

在计算机视觉、卫星遥感、天文学、生物医学成像、民用安防等多个领域都有广泛的应用。

图像超分辨率处理常被认为是广义的图像复原(Restoration)或图像重建(Reconstruction)。

实际上它与两者有一定联系但是又不完全相同。

图像复原是指去除或减轻获取数字图像过程中发生的图像质量下降(退化)[2],目标是恢复光学系统截止频率以内的成分,而图像超分辨率处理的目标是得到系统截止频率以外的成分。

图像重建可用于现有成像系统不能提供满意图像分辨率的情况,如提高遥感图像、CT、核磁共振、超声波图像和各种监控图像等的分辨率[3]。

在超分辨率处理中,多帧低分辨率降质图像可以认为是高分辨率理想图像经成像系统在观测平面上的一个投影,因此图像超分辨率处理也可以认为是由多帧低分辨率降质图像来重建高分辨率理想图像。

1超分辨率图像处理技术研究概况J.L.Harris[4]和J.W.Goodman[5]提出的基于单帧图像的Harris-Goodman频谱外推法是最早的超分辨率图像处理的方法。

随后,Tsai与Huang提出了基于序列或多帧图像的超分辨率重建问题,并给出了基于频域逼近的重建图像方法。

此后,极大后验概率估计法、反向投影迭代法、凸集投影法和自适应滤波方法等许多有使用价值的方法被提出并发展。

目前,国内外对超分辨率的研究较突出的有:美国加州大学多维信号处理研究小组的PeymanMilanfar等提出了大量的实用算法和集成各种算法的超分辨率图像恢复软件包[6];美国Dayton大学和Wright实验室对红外CCD相机进行了机载试验,利用20幅低分辨率的红外图像,取得了分辨率提高近5倍的实验结果。

香港R. F. Chars等研究了超分辨率图像恢复的有效预处理共扼梯度迭代算法[7]。

以色列耶鲁撒冷大学M.Elad等[8]对存在任意运动的图像序列,以及动态的和彩色的多媒体等的超分辨率恢复进行了研究。

以色列的EROS-A卫星利用“过采样”技术使影像的分辨率提高一倍以上。

印度S.Chaudhuri等研究了迭代的超分辨率图像恢复方法[9]。

韩国Pohang理工大学在各向异性扩散用于超分辨率[10]方面进行了研究。

国内近几年在频谱外推、混叠效应的消除、无损检测、成像探测元的阵列改进以及一些超分辨率方法的改进方面做过类似研究,但研究水平无论从深度和广度上都较国外存在一定的差距[11]。

2超分辨率图像处理方法图像超分辨率处理技术通常可以分为两大类:单帧图像重建(静态图像插值)方法和多帧图像处理(序列图像重建)方法。

单帧图像处理也称为图像放大,是指利用一帧探测器采集到的低分辨率图像的信息,通过重建算法提高图像分辨率的方法。

为了增加利用图像的信息,人们逐渐将研究热点转向多帧图像处理。

多帧图像处理充分利用了不同帧图像之间的互补信息,其超分辨率复原能力好于利用单帧图像处理。

其主要方法大致可以分为两类:频域法和空域法。

早期的超分辨率图像处理方法研究都集中在频域,后来转向空域超分辨率图像处理复原方法的研究。

频域法不能利用图像的先验知识,而空域方法则能够充分利用图像先验知识。

频域方法的基本流程如图1(a)所示。

其中图像配准和运动模型估计的精度越高,图像重建的效果就越好。

当考虑到普遍的运动类型以及退化模型时,频率域方法仅能进行整体运动估计,很难将采样空间中变化的运动模型局部等价到其Fourior变换域上。

因而产生了空域处理方法,具体流程如图1(b)所示。

显然,空间域方法进行超分辨率重建时,将复杂的运动模型与相应的插值或迭代及滤波重采样放在一起处理,这样更符合图像退化的复杂过程。

超分辨率图像处理方法很多,下面对一些目前正在研究和经常使用的方法进行重点研究。

2.1单帧超分辨率图像处理单帧超分辨率技术利用空间有界和频带限制之间的不相容性来重建特定图像中衍射极限以外的频谱。

Wang等[12]提出了有向滤波器,保护有向多项式表示的有向图像特征。

Ayazifar[13]提出了边缘保持的插值技术,该技术不仅能沿线性边缘插值,也能沿弯曲的轮廓插值。

Schultz等[14]将插值图像看作是非连续性保持的Huber-Markov随机场,并计算它的最大后验概率(MAP)估算,以获得高分辨率图像。

Thurnhofer等[15]提出了图像插值的自适应算法,并进行了视觉边缘增强。

由于实际成像和图像探测过程中误差因素的存在,使基于单帧图像的超分辨率处理方法难以应用于工程实际。

2.2频域方法频域法是最早出现的超分辨率图像处理方法,是指通过在频率域消除频谱混叠而改善图像的空间分辨率的方法。

频域方法的理论基础为傅里叶变换的平移特性,主要包括:解混叠重建法、递归最小二乘法、递归整体最小二乘法等方法。

由频域解混叠进行超分辨率重建最早由Tsai和Huang于1984年提出[16],图像序列被模型化为同一幅场景图经整体平移后欠采样的结果,欠采样过程在频域表现为频谱的混叠。

该法的不足之处是其模型中没有考虑光学系统点扩散函数(PSF),也没有考虑运动模糊和观测噪声。

Tekalp等人于1992年提出一种改进的方法[17],采用的模型中包括了线性平移不变的点扩散函数(LSI PSF, LinearShift Invariant PSF)和观测噪声。

Kim等人[18]提出了用递归最小二乘法(RLS,Recursive Least Squares)、加权递归最小二乘法(WRLS,Weighted Recursive LeastSquares)求解频谱混叠系统线性方程组,使得超分辨率重建过程可以包含观测噪声、空间模糊等因素。

由于噪声和误差的影响可能导致递归最小二乘法不收敛,为此Bole提出了递归整体最小二乘法(RTLS,RecursiveTotal Least Squares)[19]。

该方法所采用的模型有效地考虑了观测图像的LSI模糊因子,但未考虑运动模糊。

2.3空域方法空域方法就是指在图像像素的尺度上,通过对图像像素点的变换、约束进而改善图像质量的方法。

空域方法主要包括非均匀采样内插法、代数滤波反向投影法、基于概率论的方法、凸集投影迭代法、混合法、自适应滤波法、Tikhonov-Arsenin正则化法等。

2.3.1非均匀采样内插法该技术将运动估计、非均匀插值、去模糊3个过程依次执行,先用估计的相对运动信息,然后用插值方法得到HR图像后,最后用传统的图像恢复方法去除模糊和噪声。

该技术的优点是计算复杂度低,易于实用化。

不足之处在于观测模型只适用于所有的LR图像的模糊和噪声特征都相同的情况。

此外,由于恢复时忽略了插值过程引入的误差,无法保证整个复原算法的最优。

该技术比较突出的研究如下:Keren等人提出了一种包括整体平移和旋转的超分辨率重建模型[20],其特点是在超分辨率重建阶段分为内插、模拟修正两步。

这一方法的缺点是其内插过程过于简单,对消除观测值之间的频谱混叠没有任何效果。

Aizawa等提出了另一种基于内插的方法[21],他们分析了通过立体相机获取超分辨率图像的方法。

该种方法没有考虑光学模糊和运动模糊,该种模型同样也不能够利用任何先验信息。

2.3.2反向投影法在对高分辨率图像的迭代计算中,将高分辨率图像估计结果退化为低分辨率图像,计算该退化图像与真实退化图像的残差,由残差和图像模糊构造后向投影来修正下一次的迭代。

迭代后向投影方法的优点是简单直观,缺点是解不唯一,也难以进行正则处理。

Friden等[22]提出了代数层析滤波后向投影方法、迭代反向投影方法( IBP, Iterative BackProjection)等方法,进一步提高了迭代反向投影算法的性能并将其推广应用到彩色视频序列的超分辨率重建上。

2.3.3统计复原方法常用的统计复原方法包括极大后验概率估算(Maximum a Posteriori,MAP )和最大似然估算。

最大后验概率的含义就是在已知低分辨率视频序列的前提下,使出现高分辨率图像的后验概率达到最大。

最大似然估算方法可被认为是最大后验概率估算方法在等概率先验模型下的特例。

SchultzHardie等人[23]分别提出了相关算法。

目前,MAP超分辨率图像重建算法己经得到广泛的应用,这主要是因为该算法的框架模型是直接考虑先验知识的,以MAP作为先验知识的模型可以提供十分方便、直观和符合实际的成像模型;并且在MAP这样的框架内可以实现运动估计和超分辨率重建的同时求解。

2.3.4基于集合的凸集投影方法(Projection OntoConvex Set,POCS)在这种算法中,约束集定义为超分辨率解空间中可行解的限制条件,每一个限制条件则定义为向量空间中的凸集合(Convex Set)。

这些限制条件一般为超分辨率解提供较理想的性质,比如正定性、能量有界性、观测数据一致性以及光滑性等。

求解过程就是从多个约束集合的交集中求解高分辨率图像,该方法易于实现,可处理复杂的退化模型。

Youla和Webb在1982年最先将凸集投影的理论应用于图像恢复。

文献[24]提出了包含系统矩阵的运动模型,该法原理简单、观察模型灵活,能强有力地利用先验知识,近几年来在图像超分辨率重建领域受到广泛重视。

但同时具有解的不唯一性、对初始值的依赖性、需要可观的计算代价和较多的迭代次数等缺点。

2.3.5混合ML/MAP/POCS法Elad等把MAP,ML和POCS三种方法合并成统一的算法族[25]。

混合MAP/POCS方法相当于在最大后验概率方法的迭代优化过程中加入了一些先验约束,混合方法的特点是所有的先验知识都可以有效地结合使用,与POCS方法相比,该法能保证有一个最优解,图像复原性能优于MAP和POCS。

2.3.6滤波方法通过滤波可直接消除退化因素获得高分辨率图像。

该方法的不足是最优滤波方法不能包含先验,自适应滤波方法不能包含非线性先验。

自适应滤波、Wiener滤波和Kalman滤波等几类方法可以应用在高清晰度电视标准和合成视频变焦这些运算速度要求较高的场合。