浅述图像修复技术的发展
作者：赵楠
来源：《科学与信息化》2019年第33期
摘要随着计算机科学技术的发展，计算机图像处理学科迅速成长，深入到各个领域。

数字图像修复技术是近几年提出的一个具有挑战性的课题，在许多领域都得到了应用。

本文通过对图像修复技术及方法的总结和展望，为进一步完善图像修復理论做准备。

关键词图像修复技术;偏微分方程的方法;纹理合成方法
1 图像修复技术的发展
数字图像修复是数字图像处理技术的一个重要分支，其主要工作原理是利用数字图像已知区域来修复未知区域，用前后帧的领域信息来填充未知的图像待修复区。

数字图像修复的主要目的是使观察者无法察觉图像已被修改，或者使图像获得更好的视觉效果。

图像修复方法可以应用于图像编码、图像修改、目标隐藏、图像传输、图像压缩等方面。

从图像修复的发展历史分析，图像修复方法是一项比较久远的技术，在很早的文艺复兴时期就出现了。

战乱年代，由于珍贵的艺术品被多次易手，再经过长期的风化、油墨脱落，就难免有所损伤，人们为了保持作品的原有整体视觉效果，对艺术作品中丢失或损坏的部分进行修复。

这种修复主要是由富有经验的人员采用手工方式直接在原始作品上进行处理，处理结果一旦形成就不可能再更改，稍有疏忽就将对珍贵的艺术品造成不可挽回的损失，因而具有相当高的风险。

数字图像修复方法的研究起源于20世纪的50年代初期，当时美国和苏联在太空争霸赛中首次用到了数字图像恢复技术。

因为那时人类获得了大量有关地球和太阳系的图片，但是受当时的成像传感器和成像技术条件的限制，使得这些图片存在严重的退化变质现象。

为了不让这些通过高科技手段得到的技术研究成果付之东流，人们迫切需要研发新的技术提高这些图片的质量，提取图像中的有用信息，数字图像修复技术就是在这样的背景下产生的。

由于数字图像恢复所处理的问题是一个病态的反问题，它设法用一个数学过程来描述，图像修复也无法表示出其逆过程，人们无法从最终的退化影像中获得准确的原始影像信息。

如果破损区域较大，结构比较复杂，对它的修复将有更强的主观性，这时的各种预测只要在边界处能和已知数据吻合的上，就能构成一个成功的修复结果，这就表现出更强的病态性。

因此，许多学者一直追求图像修复研究的有效方法。

当今世界日益数字化，图像修复已经成为信息技术领域的一个新的活跃研究方向，在图像处理、视觉分析、电影业等领域中具有极其广泛的应用。

一些优秀的图像修复算法已经被集成
进入photoshop、maya等图像或视频处理软件中，在单幅图像或特定剪辑的处理方面取得了良好的应用效果[1]。

2 国内外的研究现状
数字图像修复的研究首先是由 Bertalmio，Sapiro，Caselles和Bellester开始的，提出了一个基于偏微分方程的 BSCB（Bertalrnio-Sapiro-Caselles-Balles）修复模型，并在2000年新加坡的一次学术会议上第一次提出了数字图像修复技术的概念，并把图像修复称为 inpainting，这开创了基于偏微分方程图像修复方法的先河。

M.Bertalmio等人根据艺术家们手工修复的方法，利用待修补区域的边缘信息，将待修复区域外的信息沿梯度垂直方向扩散到待修复区域内，取得了很好的效果，此修复方法是将传递、扩散以及它们的结合的过程，也称为微观仿真技术。

在此后又提出了一个改进的修复模型，将图像的灰度信息与梯度信息同时光滑的延伸到区域内。

自从 Bertalmio最早期的工作开始后，数字图像修复技术就开始得到广泛的应用。

接着，Masnou和Morel较早的对变分图像修复模型进行了深入的研究，而Chan，Shen和ESedoglu等对图像修复问题作了系统深入的研究，并提出了总体变差（TV）模型和 Mumford-Shah模型修复图像。

TV模型使用欧拉（Lagrange）方程，并且在修复区域内沿垂直等照度线方向采用各向异性的扩散。

这个模型在修复小区域以及去噪方面有很好的效果，但对于破损边界不能达到连接断裂边缘的要求。

Mumford-Shah模型是 Mumford和shah在研究图像分割时提出的，之后被用于图像去噪，Tsai-Ye ZZi-willsky和Chan-Shen把M-S模型再次用于图像修复，用r 逼近来恢复边缘，并用水平集方法来实现;用Ambrosio--Tortorelli中的 r 逼近的方法，来求它的修复模型，此时修复出来的边缘模型是直线模型，但是这两种方法没有满足人类视觉的连接性原则，在修复的图像中可能产生人为的角点。

由于TV模型不能修复较大的区域，不能满足人的视觉连接性问题，Tony.Chan等人考虑到了等照度线方向的几何曲率信息，提出了曲率推动扩散的想法。

在扩散流量上加上一个惩罚项函数g（k），其中函数是与曲率有关的递增函数，所以又叫曲率推动扩散（CDD curvature-driven diffusion），CDD模型是TV模型的扩展。

其特点是在曲率大的地方，传导流量就大，而对达到待修复区域边界的边缘，在与边界交点处曲率是很大的，所以此处的流量就大，边缘一定会向里延伸。

所以曲率推动扩散方法比基于 TV 模型的扩散方法修复能力要强，能处理较大的修复区域，能连接破损的边界，但曲率推动扩散没有良好的收敛性，插值结果的边界常常是模糊的，而且修复的速度较慢。

对于复杂曲线形破损图像，TV和Mumford-Shah不能很好地修复，于是Chan，kang和shen Euler提出弹性图像水平线模型。

用Euler弹性修复方法重构的图像水平线是光滑曲线而不是直线，所以能够对弯曲形状图像有很好的修复，在视觉上有良好的连接性。

但Euler弹性模型次数太高，不便于优化。

Selim-ESedoglu提出用Euler弹性模型来替换Mumford-Shah直线模型，此时模型就变为Mumford-Shah-Euler模型，其模型可以用r逼近和水平集的方法求解，这样修复出来的模型是在区域边界处是光滑的。

这些方法比较抽象，而且比较复杂，不容易实
现，优化时采用了水平集的方法，收敛性不好。

边缘只能代表图像的一部分信息，因此引入了用水平线表示图像信息。

基于纹理结构的图像修复技术，主要针对大范围的缺损的数字图像修复。

对于纹理结构的图像修复技术，其核心思想是仿真并生成局部纹理进行填充。

如斑马纹理，房屋的结构纹理，衣服的线条纹理等图像有部分缺失，从破损的周边情况分析，寻找破损图像的其他区域与破损区域周边情况类似的块，即寻找局部类似块。

但这种类似块的寻找并不能与破损的周边像素完全一致，只能是部分或相似度最大。

对有些图像仅仅使用偏微分方法或纹理合成方法中的一种方法都不能取得较好的修复效果，所以有些研究人员结合两种方法，发挥两种方法的长处对图像进行修复，如 M.Bertalmio 等将原图像分解成两个部分，即结构部分和纹理部分，结构部分使用基于偏微分的方法进行修复，纹理部分用纹理合成的方法填充修复处理，然后将两个处理过的部分相加得到总的修复结果。

目前最为流行的是：基于高阶偏微分方程（PDE）模型的修复算法被称为是微观的方法。

常用于小尺度的缺损结构性图像的修复，其主要思想是：利用待修复区域的边缘信息，确定扩散信息和扩散方向，从区域边界各向异性地向边界内扩散。

该算法可以同时填补多个包含不同背景和结构的区域，并且对待修补区域的拓扑结构没有限制[2]。

3 数字图像修复技术的广泛应用前景
（1）破损老照片的修复：在印刷行业，对于印前需要处理的不同类型的数字图像原稿，如破损老照片，有划痕的透射底片，都可以通过数字修复技术简单地修复。

在生活中，照片折叠或者划伤，或者照片、胶片被污染，这时就需要数字图像修补技术。

（2）图像中多余物体的去除：在一些对外公布的资料或人们的生活照片中，经常由于一些特殊原因，需要隐藏其中的某个目标，以达到一定的目的。

去除图像中多余物体的示例。

（3）文本去除：图像中过多的文字往往使观察者对图像本身的认识或进一步地处理产生一定的难度，通过利用图像修复技术移走图像中的文字，可以消除这种障碍。

图像中文本的去除示例。

4 数字图像修复技术展望
图像修复技术一直是图像处理领域中研究的热点，在图像破损处理、视频错误隐藏等方面得到了迅速而广泛地应用，但仍存在一定的局限性，国内外学者不断探索新方法运用在图像修复领域，通过不断地深入研究图像修复模型并通过大量的实验验证，不断完善图像修复理论。

在公共安全等领域中，往往需要进行损坏图像的批量处理，该问题就很难通过有经验的技术人员进行复杂的手工处理来解决，而需要一种具有“计算机智能”的方法来自动处理，这为图像修复方法的适应性提出了新的挑战。

另外，在一些嵌入式等电子设计产品中，无法运行photoshop、maya等软件，即使在一些電子产品中能用到软件中的某个程序，还需要给国外知名软件付高昂的软件费，这时研究核心的图像修复处理程序显得尤为重要。

参考文献
[1] 徐黎明.基于变分偏微分方程的图像修复技术研究[D].南充：西华师范大学，2017.
[2] 王相海，王爽，方玲玲.图像修复的方向梯度TV模型研究[J].吉林师范大学学报（自然科学版），2012，33（2）：1-7.。