机器视觉中的摄像机定标方法综述吴文琪,孙增圻(清华大学计算机系智能技术与系统国家重点实验室,北京100084)摘要:回顾了机器视觉中的各种摄像机定标方法,对各种方法进行介绍、分析,并提出了定标方法的发展方向的新思路。

关键词:机器视觉;摄像机定标;三维重建;镜头畸变中国法分类号:TP387文献标识码:A文章编号:1001-3695(2004)02-0004-03Overvie w of Camera Calibration Methods for Machine VisionWU Wen-qi,SUN Zeng-qi(State Key L aborato ry o f Intellige nt Tec hnology&Syste ms,Dept.o f Co mpute r Science&Technology,Tsinghua Universit y,Bei jing100084,China)Abstract:In this paper,themethods for camera calibration are reviewed,anal yzed and compared.Furthermore,the develop ment of the camera calibration is discussed.Key w ords:Machine Vision;Camera Calibration;3D Reconstruction;Lens Distortion1引言在机器视觉的应用中,如基于地图生成的视觉、移动机器人的自定位、视觉伺服等的应用中,从二维图像信息推知三维世界物体的位姿信息是很重要的。

目前已经出现了一些自定标和免定标的方法,这些方法在比较灵活的同时,尚不成熟[1],难以获得可靠的结果。

通过摄像机的定标重建目标物三维世界目标物体仍然是重要的方法。

摄像机定标在机器视觉中决定:(1)内部参数给出摄像机的光学和几何学特性% %%焦距,比例因子和镜头畸变。

(2)外部参数给出摄像机坐标相对于世界坐标系的位置和方向,如旋转和平移。

在机器人的视觉应用中,目标物位姿信息获取通常有一定的精度要求,机器人视觉系统的性能很大程度上依赖于定标精度。

随着计算机性能的快速提高,低价位CCD摄像机的大量使用,计算机定标方法也得到了不断的改进。

2摄像机模型摄像机的投影几何模型可以看作这样一个过程,把三维世界透视投影到一个球面(视球),然后把球面上影像投射到一个平面P,理想情况下,平面P关于光轴中心对称。

从图像中心点出发到投射平面点的距离r(A)与光轴夹角A的关系有五种模型,每种都有其自己有用的特性[2]。

其成像简图如图1所示。

图1成像简图2.1透视模型透视模型公式为r(A)=k tan A理想状况下可以等价为小孔成像。

许多最近的算法和判断不同算法的优劣的依据都是基于这个假设。

但是,透视投影只是表示了视球的前半部。

要是不在光轴的附近,物体的形状和密度都会发生畸变。

这种模型符合人的视觉感受,理想情况下,直线投影仍为直线。

透视模型在定标方法中被广泛采用,在视角不大的镜头情况下比较符合实际情况。

在视角比较大时,透视模型通过对镜头畸变进行校正来修正模型。

根据镜头光学成像原理,畸变的模型为Dx(x,y)=k1x(x2+y2)+(p1(3x2+y2)+2p2xy)+s1(x2+y2)Dy(x,y)=k2x(x2+y2)+(p2(3x2+y2)+2p1xy)+s2(x2+y2)式中,D x,D y是非线性畸变值,D x,D y的第一项称为径向畸#4#计算机应用研究2004年收稿日期:2002-11-18;修返日期:2003-03-22变,第二项称为离心畸变,第三项称为薄棱镜畸变,其中k1,k2,p1,p2,s1,s2称为非线性畸变参数。

并不是引入较多的参数就一定能提高模型的精度[3]。

如果只考虑径向畸变,可以写成x c=x(1+k1r2)y c=y(1+k2r2)其中,x c,y c为理想无畸变情况下的图像坐标值。

212立体图投影模型立体图投影模型为r(A)=k tan(A/2)Fleck等认为这种投影模型是更好的更广泛适用的模型[2]。

它的特征是,球形物体经过立体图投影后,仍然保持球形。

理想的立体图投影模型只有三个自由度(图像中心和焦距),而且,小物体的形状不会由于其所处视野的位置发生变化。

目前,从这个模型出发的标定方法并不多见。

其他投影模型有等距投影、等立体角投影和Sine法则投影等。

3标定方法有很多方法进行标定,已有的方法大体上可以分为三种类型:线性标定,非线性标定和两步标定。

(1)线性标定线性方法通过解线性方程获得转换参数。

算法速度快但是没考虑摄像机镜头的畸变问题)))未知数的数目通常比实际自由度要大,由于这种冗余,实际的中间参数的约束不满,而且最终结果的正确性是显著噪声敏感的。

由于比较简单,直接线性转换(DL T)在线性标定方法中是应用最为广泛的。

(2)非线性标定非线性方法使用大量的未知数和大范围的非线性优化。

非线性模型越准确,计算代价越高。

这样可以补偿镜头畸变允许采纳更为复杂的映像模型。

但是,算法的迭代本质需要良好的初始估计。

并且,如果迭代过程设计不恰当的话,尤其在高扭曲的条件下,优化过程可能不稳定。

这些技术包括:Faig.s方法[4]、Sobel标定系统[5]、Gennery立体视觉标定方法[6]和Paque tte方法[7]等等。

(3)两步标定两步标定方法包括用解析解得到多数标定参数和用迭代解获得其他一些参数。

Tsai[8]使用径向校准约束来获得外部参数和焦距的线性解。

迭代方案又用来估计处理径向畸变的相关的三个参数,有效的焦距、平移向量的深度组元。

Sid-Ahmed[9]考虑了径向和切向畸变, Wen提出了一种CCD立体视觉的非线性畸变模型,考虑了主要的摄像机畸变来源,如径向、离心和薄棱镜畸变[10]。

也有一些其他的特殊标定技术:Martins[11]使用两平面方法,Fishler和Ballas[12]提出了一种几何方法,也有提出不用任何具体模型用人工神经网络[13]和统计方法[14]来解决问题的。

基于透视模型的方法主要有以下几种:(1)Tsai方法(TS)基于切向畸变相对径向畸变可以忽略的假设,TS方法可以在考虑镜头畸变的情况下计算摄像头内外部参数。

在这种方法中,可以不同的方式安装摄像头,使用单目非共面点作为计算的依据[15]。

(2)Faugeras-Toscani方法(F T)这种方法不考虑镜头畸变,摄像头由四个参数来描述:两个焦距参数,一个用于考虑不同分辨率的图像平面轴的参数和图像中心。

这种模型无须知道像素间距,虽然这种方法得到的信息可以转换为相应的TS方法的参数[16]。

(3)Martins的两平面方法这种方法不明确地使用摄像机模型,它用世界坐标系下的视线,定义的视线从工作场景前后两个平面出发,到图像上某点的连线。

给定空间的标定点以及其图像上的对应点,用插入方法可计算出两张图,插入的方法是:对于每个图像上的点,在前平面和后平面上定义两个对应的点,来定义视线向量。

在这种方法中,考虑用局部插入,图像用顶点和标定格交点一致的三角形标画,然后在三角形内线性样条插值[17]。

(4)Pollastri方法(PL)这种方法不考虑镜头畸变,其目标是根据其他摄像机参数独立地算出图像中心Cx,C y和焦距f[18]。

(5)Caprile-Torre方法(CT)这种方法考虑了镜头的畸变,它是基于没影点的性质来计算的,如果没影点和空间三个互相垂直的方向已经给定,那么顶点在没影点的三角形的重心与图像的中心相对应。

内部参数用设计的一个含有三个正交系表面画有平行线正方体计算得到。

与三个坐标系相对应的没影点用来计算Cx,C y和焦距f[19]。

(6)张正友方法这是一种适合应用的一种新的、灵活的方法。

这种方法虽然也是使用针孔模型,但是它的具体标定是在自标定与摄影测量标定之间的一个妥协方法。

这种标定方法既具有较好的鲁棒性,又不需昂贵的精制标定块,推动了计算机视觉从实验室向实际应用的迈进。

该方法假设标定用平面图板在世界坐标系中Z=0,通过线性模型分析计算得出摄像机参数的优化解,然后用基于最大似然法进行非线性求精。

在这个过程中标定出考虑镜头畸变的目标函数,最后求出所需的摄像机#5#第2期吴文琪等:机器视觉中的摄像机定标方法综述内、外部参数[20]。

目前,基于立体图投影模型应用的方法比较少。

Daniel E.Ste venson等提出的非参数畸变校正的方法使用了这个模型,他们使用一些大小不等的小黑木球,根据立体图投影的特性,通过图像处理获得图像椭圆,并使用Delaunay三角划分法,最后获知每个划分三角的理想输出比例,从而完成对图像的校正[21]。

4发展与展望定标方法从不同的模型出发有不同的方法,适当地根据镜头应用情况采用不同的模型是提高定标精度,提高算法效率的重要途径。

随着广角镜CCD摄像机的广泛使用,计算机性能的大幅度提高,广角镜的定标、镜头畸变校正有相当大的研究价值和使用价值。

张正友方法是近年来应用较为广泛的一种比较成熟的方法。

由线性模型入手的方法来说,这种方法简单、方便、可靠。

无须具备计算机视觉和3D图形学知识就可以应用,把三维计算机视觉从实验室推进到实际应用。

张正友方法在进行线性内外参数估计时,由于假定此时模板图像上的直线经透视投影仍然为直线,进而进行图像处理,获得亚像素精度的点坐标,实际上引入了误差,所以在广角镜畸变比较大的情况下,经实验,校正效果偏差比较大。

我们认为,对于广角镜的标定方法,若能先进行畸变校正,然后利用简单线性模型进行参数估计,求得摄像机内外参数,将可能获得应用更为广泛的摄像机定标方法。

设计新的比较符合摄像机成像物理模型而又便于分析计算的实用模型是条另辟蹊径的发展方向。

立体图模型由于其自身的特点使得广角镜的定标方法中的应用具有相当大的发展潜力,我们设想利用立体图模型,经过适当的图像处理方法,首先一定程度上纠正镜头畸变和相应参数,而后使用线性模型进行摄像机定标方法是可行的,尤其在广角镜甚至鱼眼镜头的定标中取得良好的效果。

参考文献:[1]S Bougoux.From Projective to Euclidean Space under any Pract-ical Situation,a Criticism of Sel-f calibration[C].Proceedings ofthe6th International Conference on Computer Vision,1998.790-796.[2]Fleck Margaret M.Perspective Projection:The Wrong ImagingModel[Z].TR95-01,CS,U.Iowa,1995.[3]马颂德,张正友.计算机视觉)))计算理论与算法基础[M].北京:科学出版社.59-61.[4]W Faig.Calibration of Close-range Photogrammerty Systems:Mathematical Formation[J].Photogramm.Eng.Remote Seris.,1975,41(12):1479-14861[5]L Sobel.On Calibrati on Computer Controlled Cameras for Per-ceiving3D Scenes[J].Arti f.Intel,1974,(5):185-1981[6]G B Gennery.Stereo-camera Calibration[C].Proc.Image Under-standing Workshop,19701101-1081[7]L Paquette,R Stamp fler,W A Davis,et al.A New Camera Ca-libration M ethod for Robotic Vision[C].Proc.SPIE,Int.Soc.Opt.Eng.,1990.658-663.[8]R Y Tsai.An Efficient and Accurate Camera Calibration Tech-nique for Recognition[C].Miami,FL.,1986.364-374.[9]M A Sid-Ah med,T B Mohamed.Dual Camera Calibration for3-D Machine Vision Metrology[J].IEEE Trons.Instrm.Meas,1990,(39):512-516.[10]Weng J,P Cohen,M Herni ous.Calibration of Stereo CamerasUsing a Nonlinear Distortion Nodel(CCD Sensory)[C].Proc.10th In t.conf.Pattern Recogni tion,1990.246-253.[11]H A Martins,J R Birk,R V Kelly.Camera Calibration Basedon Data from Two Calibrati on Plames[J].Comp ut Grap h Image Processing,1981,17:173-180.[12]M Fishler,R Ballas.Random Sample Consensus:A Paradi gmfor Model Fi tting with Applications to Image Analysis and Au to-mated Cartography,Common,Assoc[J].Comput,24:381-395.[13]J Wen,G Sch wei tzer.Hybrid Calibration of CCD Cameras UsingArtgificial Neural Nets[C].1991IEEE,Int.Joint Conf.Neural Networks,1991.173-180.[14]R L Czaplewski.Misclassfication Bias in Area Es timates[J].Photogramm Eng.Remote Sensing,1992,58(2):189-192. [15]R Tsai.A Versatile Camera Calibration Technique for High Ac-curacy3D Machine Vision Metrology Using of-f the-shelf tv Cameras and Lenses[R].Research Report51342,IB M T.J.Watson Research Center,Yorktown Heights,NY10598,1985.[16]O Faugeras,G Toscani.The Cali bration Problem for Stereo[C].puter Vision,1990.127-140.[17]H A Martins,J R Birk,R B Kelley.Camera Models Based onData from Two Calibration Planes[J].Comp.Vi sion Graphics and Image Proc.,1981,(17):173-180.[18]F Pollastri.Metodo Per La Misura Della Posizione Del Punto Fo-cale in Unsistema Diripresa Di Imma Gi ni[Z].Patent n.67782-S/89,1989.[19]B Caprile,V ing Vanishing Points for Camera Calibra-tion[J].Int.Journal of Computer Vision,1990,(4):127-140 [20]Z Zhang.A Flexible New Technique for Camera Calibration.Technical Report MSR-TR-98-71,M icrosoft Research,Dec 1998.Available Together with the Software[EB/OL].http:///~zhang/Calib/.[21]Daniel E Steven,M argaret M Fleck.Nonparametric Correction ofDistortion Application of Computer Vision[C].WACV.96,Pro-ceedings3rd IEEE Workshop on,1996.214-219.作者简介:吴文琪(1975-),男,硕士研究生,研究领域为机器人视觉和图像处理;孙增圻(1943-),男,教授,博士生导师,清华大学计算机系学术委员会主任,主要研究领域为机器人、智能控制、神经网络及模糊系统等。