图像校正技术
式中包含12个未知数,因此至少需要6对已知同名像素坐标; 可采用曲面拟合的方法对选择的控制点进行拟合,从而用最小二乘法
计算出待定系数。 为了提高畸变校正的精度,需要使得拟合误差平方和 ε 最小,需要满
足以下公式:
二元多项式法原理比较简单且容易理解,同时对于畸变图像的校正精 度比较高。畸变图像校正的精度与选用的多项式次数有关。当选择的 多项式次数越高时,坐标点的位置拟合的误差便越小,但并不是次数 越多越好,增加次数会使得公式的计算量剧增,从而增加算法在实际 操作过程中难度。
图像校正技术
一、概述
在图像的获取或显示过程中往往会产生各种失真(畸变): 几何形状失真 灰度失真 颜色失真
引起图像失真的原因有: 成像系统的象差、畸变、带宽有限、拍摄姿态、扫描非线性、相 对运动等; 传感器件自身非均匀性导致响应不一致、传感器件工作状态、非 均匀光照条件或点光源照明等; 显示器件光电特性不一致;
s2
a10
s3 a01
y1 y2
b00 b00
b10r1 b10r2
b01s1 b01s2
y3 b00 b10r3 b01s3
y1 1 r1
y2
1
r2
y3 1 r3
s1 b00
s2
b10
s3 b01
通过解联立方程或矩阵求逆,可得到各系数,从而确定了畸变公式, 进一步可采用间接法来校正畸变图像。
Q点为空间中的一点,q点为成像平面上的相对应的点,由此可以得到 二者之间的对应关系,公式如下所示:
x f X Z
y f Y Z
针孔模型为线性模型,用矩阵表示如下:
x f 0 0 X y 0 f 0 Y 1 0 0 1 Z
2. 畸变模型:
成像光学系统(包括广角镜头)由于设计、加工工艺以及安装等因素, 导致所拍摄的图像产生很大的畸变,主要包括: 径向畸变 离心畸变 薄棱镜畸变
1. 空间坐标变换
实际工作中常以一幅图像或一组基准点为基准,去校正几何失真图 像。通常设基准图像f(x,y)是利用没畸变或畸变较小的摄像系统获得的,
而有较大几何畸变的图像用g(x´,y´)表示:
设两幅图像几何畸变的关系能用解析式来描述:
x h1 (x, y)
y h2 (x, y)
几何校正方法可分为直接法和间接法两种。
(2)间接法
设经校正的图像像素在基准坐标系统中为等距网格的交叉点,从网格 交叉点的坐标(x,y)出发计算出在已知畸变图像上的坐标(x’,y’),即
x y
h1 h2
( (
x, x,
y) y)
显然点(x,y)坐标为整数,但(x’,y’)一般不为整数,不会位于畸变图像 像素的中心,因而在畸变图像上不能直接确定该像素的灰度值,而只 能由其在畸变图像的周围像素灰度内插求出,作为对应像素(x,y)的灰 度值,据此获得校正图像。
(1)直接法
由
x y
h1 h2
( x, ( x,
y) y)
推导出
x h1(x, y)
y
h2
(
x,
y)
,然后从畸
变图像出发,依次计算每个像素的校正坐标值,保持各像素 灰度值不变,这样便生成一幅校正图像。
校正图像的像素分布是不规则的,会出现像素挤压、疏 密不均等现象,还需对此不规则图像通过灰度内插生成规则 的栅格图像。
双线性内插法的计算比最邻近点法复杂且计算量大,但双线性插值能 极大地消除锯齿现象,且没有灰度不连续的缺点,结果基本令人满意。 双线性插值方法的缺点是它具有低通滤波性质,使高频分量受损,图像 轮廓可能会有一点模糊。
三次卷积法计算量较大,精度高,能保持较好的图像边缘细节,图像插值 后的效果最好。
i0 j0
n ni
y
bij xi y j
i0 j0
其中aij,bij为待定系数。 确定aij和bij的方法有:
线性校正
二元二次多项式校正
三次多项式校正
线性校正:
对二元多项式
n ni
x
aij xi y j
i0 j0
n ni
y
bij xi y j
i0 j0
当n=1时,畸变关系简化为线性变换,
求像素邻近的16个像素点,就可以采用此法。 假设待求像素为图中空心点所示,其邻近的16个像素点如图中实心点所
示: 将16个邻点排成矩阵B,
则待求像素的灰度值为: 式中, 其中s(x)函数为三次多项式,其求解公式为:
(4)比较
最邻近插值方法计算量较小,但可能会造成插值生成的图像灰度上的 不连续,在灰度变化的地方可能出现明显的锯齿状。
二元二次多项式校正: 当n=2时,畸变公式变为二元二次多项式,可用来描述理想图像坐标
点( x,y)和畸变图像坐标(x’,y’ )之间的关系,数学表达式为:
x a00 a10 x a01 y a20 x2 a11xy a02 y2
y b00 b10 x b01 y b20 x2 b11xy b02 y 2
x a00 a10 x a01 y y b00 b10 x b01 y
上述式子中包含a00、a10、a01 、b00、b10、b01共6个未知数,至少需要3个 已知点来建立方程式,解求未知数。
从基准图上找出三个点(r1,s1),(r2,s2),(r3,s3) ,它们在畸变图像上对应的 三个点的坐标为(x1,y1),(x2,y2),(x3,y3);
待求像素的数学表达式如下:
(2)双线性插值
双线性插值是线性插值函数的扩展,它是一种具有两个变量的线性插 值函数。双线性插值的核心思想是在两个方向分别进行一次线性插值, 其示意图如下:
假设在待求点的像素坐标为(i+u,j+v),且其四个最近邻点坐标分别 为:A, B,C和D,且其灰度值分别为g(A),g(B),g(C)和g(D)。 在X轴方向对AB段线性插值方法得到E点的灰度值:
(1)最近邻插值
最近邻插值法(NearestNeighbor)又称泰森多边形方法,是荷兰气象学家 A.H.Thiessen提出的一种分析方法。最初用于从离散分布气象站的降 雨量数据中计算平均降雨量,现在GIS和地理分析中经常采用泰森多边 形进行快速的赋值。
最近邻插值是最简单的灰度插值方法,不需要计算,在待求像素的四邻像 素中,将距离待求像素最近的像素灰度赋给待求像素,即可实现最近 邻插值。假设在已经校正的图像中有一像素点(i+u,j+v),其中i和j表示整 数部分,u和v表示小数部分,设待求像素点的周围四近邻像素点构成区 域如图所示:如果(i+u, j+v)落在A区,即u<0.5,v<0.5,则将左上角象素的灰 度值赋给待求象素;u>0.5, v<0.5,落在B区,则赋予右上角的像素灰度 值;u<0.5,v〉0.5,落在C区,则赋予左下角象素的灰度;u>0.5,v>0.5,落在D 区,则赋予右下角象素灰度值。
图像畸变的存在影响视觉效果,也是影响图像检测系统的形状检测和 几何尺寸测量精度的重要因素之一。
图像校正是指对失真图像进行的复原性处理。
二、图像几何失真
图像在获取过程中,受镜头制造精度、成像系统本身的非线性以及 拍摄角度等因素的影响,会使获得的图像出现不同程度的几何位置、 尺寸、形状、方位等畸变,产生几何失真。
把上述三对点坐标带入以下公式:
x a00 a10 x a01 y
y b00 b10 x b01 y
写成矩阵形式:
xx21
a00 a00
a10r1 a10r2
a01s1 a01s2
x3 a00 a10r3 a01s3
x1 1 r1
x2
1
r2
x3 1 r3
s1 a00
2. 灰度级插值
在输入图像f(x,y)中,灰度值仅在整数位置(x,y)处有定义。 然而,经过空间坐标变换处理所得的新图像g(x,y)的灰度值一般由处
在非整数坐标上的f(x,y)的值来决定。 坐标变换是从f到g的映射,则f中的一个像素会映射到g中几个像素之
间的位置,反之亦然。
数字图像中的坐标总是整数。在前面章节所述的图像校正部分中,经 过倾斜校正和畸变校正计算出来的坐标可能不是整数。此时,非整数 处的像素值就要用其周围的一些整数坐标处的像素值来判断。用于该 任务的技术称为灰度插值。灰度插值常用方法有:最近邻插值、双线 性法和三次卷积法
几何失真: 系统失真:有规律的、能预测的; 非系统失真:具有随机性;
当对图像作定量分析时,就要对失真的图像先进行精确的几何校正 (即将存在几何失真的图像校正成无几何失真的图像),以免影响 定量分析的精度。
1. 相机成像模型:
针孔模型是理想的投影成像模型,满足光的直线传播条件。即当光线照 射到物体表面时,反射光透过一个针孔在成像平面上成像。
径向畸变的x与y的偏移量描述如下:
其中k1与k2为径向畸变系数,
(2)离心畸变: 离心畸变形成是由于镜头部分的光学中心并不能严格地保持共线所
造成的,表现在图像在切线方向上出现偏离。
离心畸变可用如下公式表示:
其中,p1与p2为离心畸变系数。
(3)薄棱镜畸变: 薄棱镜畸变主要是由镜头设计、生产以及摄像机组装过程中的缺陷
间接法内插像素灰度比较容易,所以一般采用间接法进行几何校正。
(3)h1(x,y)和h2(x,y)的确定:
通常用基准图像和几何畸变图像上多对同名像素的坐标来确定;
假定基准图像像素坐标(x,y)和畸变图像对应像素坐标(x’,y’)之间的 关系用二元多项式来表示:
n ni
x
aij xi y j
引起的,比如说镜头或图像感应阵列的微小倾斜造成的,一般来说 其畸变现象比较细微:
其中,s1与s2为薄棱镜畸变系数。
(4)畸变分析: 综合上面的三种畸变,可以得到畸变总公式如下: