第２８卷第１期计算机工程与设计２００７年１月Ｖ０１．２８Ｎｏ．１ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＤｅｓｉｇｎＪａｎ．２００７
基于ＯｐｅｎＣＶ的摄像机标定尹文生，罗瑜林，李世其（华中科技大学机械科学与工程学院，湖北武汉４３００７４）摘要：以增强现实系统中摄像机标定技术为研究对象，分析了开放计算机视觉函数库ＯｐｅｎＣＶ中的摄像机模型，特别充分考虑了透镜的径向畸变和切向畸变影响及求解方法，给出了基于ＯｐｅｎＣＶ的摄像机标定算法。该算法充分发挥了ＯｐｅｎＣＶ的函数库功能，提高了标定精度和计算效率，具有良好的跨平台移植性，可以满足增强现实和其它计算机视觉系统的需要。关键词：计算机视觉；增强现实；摄像机模型；透镜畸变；摄像机标定中图法分类号：ＴＰ３９１文献标识码：Ａ文章编号：１０００．７０２４（２００７）０１—０１９７．０３
ＣａｍｅｒａｃａｌｉｂｒａｔｉｏｎｂａｓｅｄｏｎＯｐｅｎＣＶ
ＹＩＮＷｅｌ＂１。ｓｈｅｎｇ，ＬＵＯＹｕ．１ｉｎ，ＬＩＳｈｉ—ｑｉ
（ＳｃｈｏｏｌｏｆＭｅｃｈａｎｉｃａｌＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＨｕａｚｈｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｗｕｈａｎ４３００７４，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｆｏｒｔｈｅａｐｐｌｉｃａｔｉｏｎｓｏｆｔｅｃｈｎｏｌｏｇｙｏｆｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎｔｏａｕｇｕｓｔｒｅａｌｉｔｙ，ｔｈｅｃａｍｅｒａｍｏｄｅｌｉｎＯｐｅｎＣＶ（ｏｐｅｎｓｏｕｒｃｅｃｏｍｐｕｔｅｒ
ｖｉｓｉｏｎｌｉｂｒａｒｙ）ｉｓｄｉｓｃｕｓｓｅｄ，ｅｓｐｅｃｉａｌｌｙｏｎｔｈｅｉｎｆｌｕｅｎｃｅｓａｎｄｓｏｌｖｉｎｇｍｅｔｈｏｄｓｏｆｌｅｎｓｒａｄｉａｌｄｉｓｔｏｒｔｉｏｎａｎｄｔａｎｇｅｎｔｉａｌｄｉｓｔｏｒｔｉｏｎ，ａｎｄ
ａｎ
ａｒｉｔｈｍｅｔｉｃｏｆｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎｂａｓｅｄｏｎＯｐｅｎＣＶｉｓｇｉｖｅｎ．Ｔｈｉｓａｒｉｔｈｍｅｔｉｃｍａｋｅｓｕｓｅｏｆｔｈｅｆｕｎｃｔｉｏｎｓｏｆｔｈｅｌｉｂｒａｒｙｅｆｆｅｃｔｉｖｅｌｙ，ｉｍｐｒｏｖｅｓ
ｐｒｅｃｉｓｉｏｎａｎｄｅｆｆｉｃｉｅｎｃｙｏｆｃｏｍｐｕｔａｔｉｏｎ，ａｎｄｈａｓａｇｏｏｄｐｒｏｐｅｒｔｙｆｏｒｔｈｅａｐｐｌｉｃａｔｉｏｎｔｏｍｕｌｔｉ－ｐｌａｔｆｏｒｍ．Ｉｔ
ｃａｎ
ｍｅｅｔｔｈｅｎｅｅｄｓｏｆａｕｇｕｓｔ
ｒｅａｌｉｔｙａｎｄｏｔｈｅｒｃｏｍｐｕｔｅｒｖｉｓｉｏｎｓｙｓｔｅｍｓ．
Ｋｅｙｗｏｒｄｓ：ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ；ａｕｇｕｓｔｒｅａｌｉｔｙ；ｃａｍｅｒａｍｏｄｅｌ；ｌｅｎｓｄｉｓｔｏｒｔｉｏｎ；ｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ
０引言摄像机标定，是指建立摄像机成像几何模型，描述空间坐标系中物体点同它在图像平面上像点之间对应关系的过程。摄像机标定的目的就是确定几何模型参数即摄像机参数“１。摄像机标定是计算机视觉应用中的关键技术，在增强现实系统中也必须采用摄像机标定技术实现图像的注册眨”。摄像机标定技术在立体视觉研究中占有非常重要的地位。一个完整的立体视觉系统通常可分为图像获取、摄像机标定、特征提取、立体匹配、深度确定及内插等６大部分“１。精确标定摄像机内外参数不仅可以直接提高测量精度，而且可以为后继的立体图像匹配与三维重建奠定良好的基础。一】。目前通常采用的标定方法是基于“两步法圳””的传统摄像机标定方法，该方法比主动视觉摄像机标定方法和摄像机自标定方法标定精度高，而且标定过程简单，经过多年的研究已经发展得比较成熟，鲁棒性高。ＯｐｅｎＣＶ（Ｉｎｔｅｌ。ｏｐｅｎｓｏｕｒｃｅｃｏｍｐｕｔｅｒｖｉｓｉｏｎｌｉｂｒａｒｙ）是Ｉｎｔｅｌ。开放计算机视觉函数库，它由一系列Ｃ函数和少量Ｃ＋＋类构成，实现了图像处理和计算机视觉方面的很多通用算法，具备强大的图像和矩阵运算能力。该函数库中实现的摄像机标定方法采用的是文献［１１］中的两步标定方法，而且在２００５年７月最新发布的ｂｅｔａ５版本中，不只完全重写了摄像机标定函数，而且引入了文献［１２】中的自动寻找角点的方法，进一步提高了标定的智能化程度，用户只需导入用于标定的图片，整个标定过程无需人工的介入。ＯｐｅｎＣＶ中的摄像机标定模块为用户提供了良好的接口，同时支持ＭＳ．Ｗｉｎｄｏｗｓ、Ｌｉｎｕｘ平台，有效地提高了开发效率，并且执行速度快，具有良好的跨平台移植性，因此可以很好地应用于工程实际当中。
ｌ标定原理１．１摄像机模型摄像机标定首先要选择合适的摄像机模型，确定内外部参数。ＯｐｅｎＣＶ标定算法中的摄像机模型以针孔模型（ｐｉｎ—ｈｏｌｅｍｏｄｅｌ）为基础，引入透镜的径向畸变和切向畸变，该模型相比于只引入一阶径向畸变的Ｔａｓｉ模型和针孔模型更加真实地反映了透镜实际的畸变情况ｍ１。在该模型中，将空间点Ｐ在世界坐标系中的坐标值呱，Ｋ，乙）变换为图像平面上像素坐标系中
坐标值（“，ｖ）的过程可分解为下述的４步变换”１：
收稿日期：２００５－１２・０６Ｅ－ｍａｒｌ：ｗｓｙｉｎ＠ｍａｉｌ．ｈｕｓｔ．ｅｄｕ．ｃｎ基金项目：国家民用航天科研专项计划基金项目（科工技［２００４］１５３０）。作者简介：尹文生（１９６３一），男，湖南常宁人，博士，副教授，研究方向为智能ＣＡＤ、虚拟现实技术、机器人遥操作系统；罗瑜林（１９８１一），男，江西吉安人，硕士研究生，研究方向为机器人遥操作系统、机器视觉；李世其（１９６５一），男，江西吉安人，博士，教授，研究方向为ＣＡＤ／ＣＡＥ、虚拟现实技术、机器人遥操作系统。
一１９７— 万方数据Ｋ，乙）变换为摄像机坐标系中的坐标值只（疋，Ｋ，乙）如下㈧…＝㈠Ｍ㈤
（２）将坐标值只（冠，Ｋ，ｚｃ）在针孔模型中进行规范化投影，得只＝［妻甜引∽
（３）引入透镜的畸变，畸变后的规范化坐标值可以用雎如砌
阱Ｘｄｃ，峨‰叫州黝；篙］㈤
将Ｐｄ（ｘａ，ｙａ）转换为图像上像素坐标系上的坐标值Ｂ（“，访ｆ吲：时‰（４）
够可＝ｆ／．劬ｓｘ／咖（５）
像素之间的有效距离（ｍｍ／ｐｉｘｅｌ）；ｄｐｙ为计算机图像在垂直方向
换）方法计算出摄像机的内部参数和外部参数的初值Ⅲ。该步虑透镜畸变的影响，得到的参数值并不准确。不过作为下一数据拟合目标函数““如式６所示。既要将图像上Ⅳ个角点的坐标值（Ｕ，Ｋ）（ｆ＝１，…朋拾取出来，还要利用上述畸变模型计算出这Ⅳ个标志点的坐标值（‰ｖＪ）（ｆ＝１，…朋，然后利用式６进行数
转化为求解非线性最小二乘的问题，通过非线性优化算法“”多次迭代，最后得到使目标函数的值最小的参数值，降低了求解难度。迭代的初值由第①步的ＤＬＴ方法算出，ＤＬＴ方法不
２基于ＯｐｅｎＣＶ的摄像机标定基于ＯｐｅｎＣＶ的摄像机标定采用平面棋盘格标定模板，一１９８一为了提高角点提取的成功率，在标定方块的外围，还要求保留一个方块宽的白色空白区域，如图１所示。摄像机只需在不同的角度抓取几张平面标定模板的图片，就可以实现对摄像机的标定。显然，由于采用最小二乘法，抓得图越多，标定的结果就越精确。图１平面棋盘格标定模板虽然ＯｐｅｎＣＶ中自动寻找角点函数提取角点的成功率很高，但是若碰到光线被遮挡等情况，使得标定模板上的标定块在图像上不清晰或提取的角点数目与设定的数目不相符的状况，就会导致角点提取失败，如图２所示：因此ＯｐｅｎＣＶ并不保证能够提取所有图像上的角点。所以在设计标定算法时必须要考虑角点不能被提取的情况：一方面，如果角点提取成功的图过少，则标定出来的结果就不一定能满足精度的要求，需要重新采图；另一方面，由于摄像机外部参数的个数与标定图像的个数相关联，所以在最后计算标定结果时，应将提取角点失败的图像舍弃，再根据剩下图像的数目，动态地分配参数在内存中的储存空间，如果没有这么一个筛选的过程，盲目得在内存中分配参数的储存空间，则在提取角点失败的图像上，不能找到与角点在世界坐标系中的坐标值相对应的像素坐标系上的坐标值，在这种情况下强行计算的话，很容易出现程序报错，得不到标定结果的情况。因此，本文提出以下摄像机标定算法：（１）读取一组标定用图像数据；（２）用ｃｖＦｉｎｄＣｈｅｓｓｂｏａｒｄＣｏｍｅｒｓ（）筛选图像；将读入的一组图像数据分别代入ｃｖＦｉｎｄＣｈｅｓｓｂｏａｒｄＣｏｍｅｒｓ０函数，如果返回值是１，则表示在该幅图像上提取的角点数目和设定的相同，提取角点成功；若为０，则表示角点提取失败，该幅图要抛弃；（３）如果可用的标定图的数目满足设定的最少标定用图的数目，继续步骤（４）；否则，则应重新采图，返回步骤（１）；（４）根据筛选剩下图像的数目用ｃｖＣｒｅａｔｅＭａｔ０为摄像机的内外部参数、角点在世界坐标系的坐标值以及在图像坐标系中的坐标值分配内存存储空间；（５）将筛选剩下的图像代入ｃｖＦｉｎｄＣｈｅｓｓｂｏａｒｄＣｏｍｅｒｓ０，得到角点在图像像素坐标系中坐标值；再将图像和得到的图像像素坐标系中坐标值代入ＦｉｎｄＣｏｍｅｒＳｕｂＰｉｘ（）函数，进一步精（ａ）角点提取失败（ｂ）角点提取成功图２角点提取图像
万方数据确得到角点亚像素级的坐标值；（６）将角点在世界坐标系的坐标值以及在图像坐标系中的坐标值代入ｃｖＣａｌｉｂｒａｔｅＣａｍｅｒａ２０函数，最后得到摄像机的内外部参数值；（７）最后注意要用ｃｖＲｅｌｅａｓｅＭａｔ０函数释放ｃｖＣｒｅａｔｅＭａｔ（）函数分配的内存空间，防止内存泄露。
３实验结果根据上述标定原理和开发步骤，在Ｗｉｎｄｏｗｓ２０００ｐｒｏ平台下利用ＶＣ＋＋６．０开发了一个基于ＯｐｅｎＣＶｂｅｔａ５版本的摄像机标定程序，程序界面如图３所示。程序经过严格测试，运行稳定，没有出现内存泄露的情况，寻找角点成功率高，标定一组９幅７６８ｘ５１２像素的图像，用时Ｏ．３秒，可以达到实用的要求。图３标定程序界面为了验证该标定程序的标定结果，利用文献［１２】中的图像数据进行标定，并将计算得到的结果与文献［１２］中提供的基于相同原理的标定程序得到的标定值进行比较。比较结果如表１所示，其中计算值表示本文程序计算的值；给定值为文献［１２】中程序的计算值。从表中可以看到，两者的值是非常接近的。４结束语利用ＯｐｅｎＣＶ开发的摄像机标定程序具有标定结果精确、运算效率高、跨平台移植性好等特性，可以有效地应用于基于增强现实的机器人遥操作系统和其它计算机视觉系统应用中。参考文献：［１］邱茂林，马颂德，李毅．计算机视觉中摄像机定标综述［Ｊ］．自动化学报，２０００，２６（１）：４３—５５．［２】ＣｈｕｎｙｕＧａｏ，ＨｏｎｇＨｕａ，ＡｈｕｊａＮ．Ｅａｓｙｃａｌｉｂｒａｔｉｏｎｏｆａｈｅａｄ－ｍｏｕｎｔｅｄｐｒｏｊｅｃｔｉｖｅｄｉｓｐｌａｙｆｏｒａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙｓｙｓｔｅｍｓ［Ｃ］．ＰｒｏｃｅｅｄｉｎｇｓＩＥＥＥＶｉｒｔｕａｌＲｅａｌｉｔｙ，２００３．５３—６０．［３］ＧｉｂｓｏｎＳ，ＣｏｏｋＪ，ＨｏｗａｒｄＴ，ｅｔａ１．Ａｃｃｕｒａｔｅｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎｆｏｒｏｆｆ－ｌｉｎｅ，ｖｉｄｅｏ—ｂａｓｅｄａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙ［Ｃ］．ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥａｎｄＡＣＭＩｎｔｅｒｎａｔｉｏｎａｌＳｙｍｐｏｓｉｕｍｏｎＭｉｘｅｄａｎｄＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ，２００２．３７－４６．【４】ＤａｖｉｄＡＦｏｒｓｙｔｈ，ＪｅａｎＰｏｎｃｅ．计算机视觉——一种现代方法［Ｍ］．北京：电子工业出版社，２００４．［５】ＲａｓｈｍｉＳｕｎｄａｒｅｓｗａｒａ，ＳｃｈｒａｔｅｒＰＲ．Ｂａｙｅｓｉａｎｍｏｄｅｌｉｎｇｏｆｃａ—ｍｅｒａｃａｌｉｂｒａｔｉｏｎａｎｄｒｅｃｏｎｓｔｒｕｃｔｉｏｎ［Ｃ］．ＰｒｏｃｅｅｄｉｎｇｓＦｉｆｔｈＩｎｔｅｒ－ｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ３－ＤＤｉｇｉｔａｌＩｍａｇｉｎｇａｎｄＭｏｄｅｌｉｎｇ，２００５．３９４．４０１．［６］ＲｏｄｒｉｇｕｅｚＴ，ＳｔｕｒｍＰ，ＷｉｌｃｚｋｏｗｉａｋＭ，ｅｔａ１．ＶＩＳＩＲＥ：Ｐｈｏｔｏｒｅａ—