改进的红外图像神经网络非均匀性校正算法摘要:红外焦平面阵列(IRFPA)像元响应存在不一致性,会严重影响红外成像系统成像的质量,实际应用中需要采用响应的非均匀性校正(NUC)技术。
传统的神经网络校正算法在校正结果中存在图像模糊和伪像的问题,影响人们对于目标的观察。
在分析了传统的神经网络性校正算法所出现问题原因的基础上,提出了有效的改进算法:用非线性滤波器代替传统算法中使用的均值滤波器。
算法改进之后所得到的校正图像,不仅在清晰度方面有明显的改善,而且有效的消除了传统算法中存在伪像的问题。
关键词:非均匀性;神经网络;模糊;伪像中图分类号:TN215 文献标识码:AImproved infrared image neural network non-uniformitycorrection algorithmAbstract:The responsive of infrared focal plane arrays (IRFPA) is different; it will affect the quality of imaging system seriously. Non-uniformity correction technology will need in practical application. The calibrated images have the problems of blurring and existing ghost artifacts when use the traditional neural network correction algorithm. And it is bad for the observation of the target. After analysis the reasons for the problems in the traditional neural network correction algorithm,proposed the improved algorithm. Replace the mean filter, which used in the traditional algorithm, by the nonlinear filter. The corrected image by the improved algorithm not only a marked improvement in clarity, but also effectively eliminate the problem of artifacts in traditional algorithms.Keywords:Non-uniformity; Neural network; Blurring; Ghosting artifacts0引言红外技术是20世纪初新出的一种不可见光技术,目前已被广泛应用于军事和民事领域,如红外探测,红外监视等。
而IRFPA作为红外技术的核心部分,起着关键的作用,但是IRFPA上存在的非均匀性是影响红外系统的一个重大因素。
因此,对于非均匀性的研究是目前广泛讨论的问题。
目前国内外已经出现了多种IRFPA非均匀性校正方法,归纳起来它们大致可以分为两类:基于定标的NUC算法[1],这类算法由于精度高、算法简单,得到了广泛的应用。
但是定标类校正方法由于受到IRFPA工作时间和环境的影响,其响应参数会发生缓慢漂移,进而影响校正精度。
因此,定标类校正方法通常需要进行周期性定标校正[2],这样在校正过程中就需要设备停止工作,所以会带来很大的不便。
第二类是基于场景的NUC算法[3],这类校正算法在一定程度上能够克服IRFPA响应漂移带来的校正误差,并且不需要参考源,因此基于场景的算法成为了目前研究的主要方向。
神经网络校正方法以其较好的自适应性和误差跟踪能力而成为场景类校正方法中最具发展前途的一种方法。
但是,传统的神经网络校正算法存在校正结果模糊,且存在伪像的问题。
本文的主要工作就是针对该算法存在的问题,对其进行改进,并取得了很好的效果。
1. 非均匀性的产生 非均匀性指的是焦平面阵列在外界均匀光强照射时,各单元的输出不一致,在图像上表现为空间噪声或固定图案噪声。
假设每个探测器的响应模型为线性模型,对于焦平面阵列中第ij 个像元在n 时刻的输出响应可以表示为: ()()()()ij ij ij ij x n k n y n b n =+ (1) 式中,()ij y n 为第ij 个像元在n 时刻接收到的辐射照度,()ij x n 为探测器单元输出,()ij k n 和()ij b n 分别为增益因子和噪声因子。
在理想情况下,各探测元的()ij k n 都相同,且()ij b n 为0。
这样,()ij x n 就可以真实地反映出输入图像。
但是在实际情况中,各点的()ij k n 和()ij b n 都不相同,这就是红外图像非均匀性。
式(1)又可以表示为:()()()(i j i j i j i j y n G n x n O n=+ (2) 式中,()1/()ij ij G n k n =为增益校正因子,()()/()ij ij ij O n b n k n =-为偏移量校正因子。
式(2)即为像元的非均匀性校正公式。
2. 传统神经网络非均匀性校正算法原理20 世纪90 年代初, 美国海军研究中心的D. A. Scribner 等人首先将BP 人工神经网络结构引入了对红外成像系统进行非均匀性校正的领域, 它的校正原理是利用现有视场场景来持续的对探测元进行增益和偏移的校正,图1 是BP 人工神经网络算法应用于非均匀性校正的具体实现形式 [4] 。
Input Layer x(i-1,j)x(i,j-1)x(i,j)x(i+1,j)x(i,j+1)Correction LayerHidden Layer图1 基于神经网络的非均匀性校正算法网络结构Fig.1 Network structure of the non-uniformity correction algorithm based onneural networks网络结构各层的作用: (一) 输入层该层的输入为连续帧的未校正二维红外图像灰度值,,i j 分别表示像素所在的行值、列值。
(二) 隐含层隐含层的作用是对校正后的输出图像进行线性平滑,并将处理的结果送到校正层,用于确定下一步的校正参数。
由于各探测元的响应特性参数近似不相关,因此可以把某一像素的邻域平均作为该像素的理想输出。
对第n 帧校正过后图像的第i 行、j 列的像素作四邻域均值滤波:1,,11,,11ˆˆˆˆ()[()()()()]4ij i j i j i j i j f n x n x n x n x n --++=+++ (3) 将上式的计算结果反馈给校正层。
(三) 校正层(NUC 层)在这一层对输入灰度值用式(2)进行校正,还需要利用NUC 层的输出和隐含层的反馈输入对增益校正系数和偏置校正系数进行修正。
修正过程如下:定义关于ij G 、ij O 的误差函数为(为方便起见以下公式下标省略):2(,)()E G O Gx O f =+- (4)根据最陡下降法,(),E G O 的梯度为:2()G E E x Gx O f G∂==+-∂ (5)2()O EE Gx O f O∂==+-∂ (6) 则使误差函数趋近于最小的最陡下降路径(负梯度方向)为:12()n n G G x y f η+=-- (7)12()n n O O y f η+=-- (8)式中η表示迭代步长,选择合适的迭代步长是该算法的关键,它直接影响到迭代过程收敛的速度和处理的效果。
对于迭代步长取值范围确定的方法在参考文献中有详细的介绍[5],这里就不再赘述。
3. 改进算法传统神经网络校正算法处理结果,随着迭代次数增加红外图像会变得越来越模糊,静止目标会逐渐融入背景,究其原因是它把四邻域的平均值作为该像元的期望输出值。
并且由于参数的修正需要一定的时间,当目标再次运动时,还会产生伪像 [6]。
目前对于伪像的消除主要集中于两个方面的研究:(1)改变迭代步长:选取较小的迭代步长可以减小伪像的影响,但是过小的迭代步长会增加算法的收敛时间[7]。
(2)改变隐含层中使用的滤波器[8],由于传统的算法中使用的是平滑滤波,使得目标的边缘对滤波结果影响比较大,而目标边缘的影响正是伪像产生的根本原因,因此对于算法中滤波器的改进成为了消除伪像的主要研究方向。
另外,普通均值滤波器可以有效的滤除高斯噪声,而对脉冲噪声却无能为力。
基于以上分析,神经网络校正算法中选取不同的滤波器,可以得到不同的校正效果。
实验证明使用基于α-裁剪均值滤波器的神经网络算法,能够有效的改善传统算法中目标融于背景和伪像的问题。
本文又在α-裁剪均值滤波器的基础上对其进行改善,无论是对于伪像的消除方面还是红外图像非均匀性的校正方面都取得了很好的效果。
本文算法原理框图如图2所示:图2 本文算法方框图Fig.2 Network structure of the improved algorithm3.1. α-裁剪均值滤波器传统的α-裁剪均值滤波器[9]:设以点(),x y 为中心的窗口有21N k =+个像素,对这N 个像素按灰度值由小到大顺序进行排列得到12,,,N x x x ,则滤波器的输出为:()[][][]11,2N Ni i N g x y x N N ααα-=+'=-∑ (9)式中,α(00.5α≤<)为裁剪系数,[]∙是取整运算,通过调整系数α,滤波器对高斯噪声和脉冲噪声有较好的抑制作用。
为了更灵活的对序列元素进行取值,对上述滤波器进行稍微的改进得到(),αβ-裁剪均值滤波器:1(,)Ni i Ng x y x K αβ='=∑ (10) 式中,α(01α<≤),β(0βα≤<)为裁剪系数,[][]K N N αβ=-,[]∙是取整运算。
(),αβ-裁剪均值滤波器就是在序列12,,,N x x x 中,跳过前[]N β个像素,求接下来K 个像素灰度的均值。
由于不同的噪声类型需要的滤波器类型不同,因此可以单独的改变α、β的值来取不对称的序列值进行运算。
试验中可以通过连续的改变α、β的值,并计算不同裁剪系数下滤波图像的信噪比,取信噪比最高的滤波结果作为最终的输出。
该算法拥有均值和中值滤波器的优点,比传统α-裁剪均值滤波器更加的灵活。
3.2. 改进的神经网络算法鉴于传统算法中隐含层采用均值滤波带来的问题,将隐含层输出重新定义如下:()()1ˆNij i i N f n x n K αβ==∑ (11) 其中,α(01α<≤),β(0βα≤<)为裁剪系数,[][]K N N αβ=-,[]∙是取整运算。