© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net第27卷 第4期吉林大学学报(信息科学版)Vol.27 No.4
2009年7月JournalofJilinUniversity(InformationScienceEdition)July2009
文章编号:167125896(2009)0420400207
收稿日期:2009205213
基金项目:吉林省科技发展重点基金资助项目(20080325)作者简介:滕世明(1982— ),男,长春人,吉林大学硕士研究生,主要从事计算机图像处理研究,(Tel)86213504432041(E2mail)teng2shiming@yahoo1com1cn;许志闻(1965— ),男,长春人,吉林大学教授,博士生导师,主要从事网络流媒体、计算机图形学与图像处理、生物信息学的研究,(Tel)86213904310477(E2mail)zw_xu@yahoo1com.cn。
基于结构光和序列图像的三维重建方法滕世明,王 森,许志闻(吉林大学计算机科学与技术学院,长春130012)
摘要:为解决在基于图像三维重建物体表面的过程中,对不同图像进行立体匹配的难题,提出了基于特征的立体匹配算法,建立了利用序列图像重建物体表面的系统。系统采用投影结构光给物体表面加上主动特征的方法,以快速精确地重建物体表面,并对Canny算法进行了改进,用于轮廓提取、细化和修正等操作,从而准确获取图像主动线索特征。该方法能快速获取物体表面的三维点云数据,并达到了较高的精度。关键词:三维重建;三维建模;双目立体视觉;三角测量原理中图分类号:TP391文献标识码:A
Researchof3DReconstructionBasedonStructuredLightandSequenceImages
TENGShi2ming,WANGSen,XUZhi2wen(CollegeofComputerScienceandTechnology,JilinUniversity,Changchun130012,China)
Abstract:3Dreconstructiontechnologyofobjectsurfacehasthewidespreadapplicationinmanydomains.Intheprocessofreconstructingobjectsurfacebasedonimages,stereomatchingfromdifferentimagesisthemostimportantanddifficultproblemin3Dreconstruction.Tosolvetheproblemandreconstructingobjectsurfacequickly,weuseprojectortoprojectstructuredlighton3Dobject.WegetgoodactivecluefeatureinimagesbyusingimprovedCannyedgedetectionalgorithm,thinningalgorithmandcorrectionalgorithm.Weproposeanim2agematchingalgorithmbasedonimagecharacteristic.Asystemof3Dmodelingisimplementedusingsequenceimages.Thesystemobtainsthe3Ddatainfastspeedandgoodprecision.Keywords:3Dreconstruction;3Dmodeling;binocularstereovision;triangulationtheory
引 言三维表面数据的获取是物体三维重建的基础,它在飞机、汽车、船舶、医学影像建模、机器人视觉、人机交互界面、文物保护、三维人脸识别等制造业和工业领域中有着大量需求。如何快速而准确地获取被测物体表面的三维形状信息,并根据这些信息对被测物体进行三维重建是一项重要而有难度的研究课题。在三维扫描中,非接触式扫描应用比较广泛。非接触式扫描[1]将激光或可见光投射到被测物体表面,然后利用各种感光器件对发射的光进行感光,再利用各种技术计算出物体表面的深度信息。非接触式扫描无需与被测物体直接接触,所以不会直接对被测物体产生物理损伤。在非接触测量方法中,激光扫描不易受到图像采样噪声及物体表面纹理的影响,扫描精度较高,但激光扫描测量过程耗时较长,同时激光扫描仪价格昂贵。光栅投影法投射一次光栅就可获得物体一个侧面的三维信息,与激光扫描法相比,减少了信息的冗余,具有速度快、精度高等优点,代表了光学非接触式测量方法的发展方向。© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net
笔者根据双目立体视觉原理,研究设计了一种基于结构光和序列图像的物体表面三维重建系统,该系统装置简单成本低,可快速获取被测物体表面的三维信息,并达到较好的三维重建效果。
1 重建原理与系统构成在双目立体视觉中,摄像机模型描述了三维场景投影到二维图像的过程,摄像机模型确定后,可知道三维空间中某点在二维图像平面的投影点的位置。摄像机针孔模型的成像几何关系如图1所示,引进了3个坐标系:图像坐标系、摄像机坐标系和世界坐标系[2]。
图1 摄像机针孔成像模型Fig11Pinholeimagemodelofcamera
图像坐标系xO
1y定义在图像上,
坐标原
点是O1;(u,v)以像素为单位,坐标原点O0为图像左上角;O1在u,v坐标系中的坐标为(
u
0,
v0)。摄像机坐标系的原点Oc
在相机的光心上,
Xc轴和Yc
轴与图像坐标系中的x轴和y轴平
行,Zc轴为相机光轴,它与图像平面垂直,光轴与图像平面的交点即为图像坐标系的原点O1。OcO1
为相机的有效焦距。世界坐标系是假想的
参考坐标系,可固定于场景中某物体上,用于描述摄像机的位置。图1中A(X
c,Yc,Zc)是摄
像机坐标系中的一个点,a是A在图像坐标系中的投影点。根据针孔成像模型,经过理论推导可以得到像素坐标和世界坐标之间的关系
suv1=MXw
Yw
Zw
1
其中s是比例系数;u,v是点的像素坐标,矩阵M可由摄像机标定得到;(X
w,Yw,Zw)是点A的世界坐标。则
双目视觉模型可表示为
s1u1v11=M1XwYwZw1; s2u2v21=M2
Xw
Yw
Zw
1
m1=(u1,v1)和m2=(u2,v2)是空间同一点在两个角度图像中的对应点,s1和s2是比例系数;M1和M2
是两个角度摄像机参数矩阵。通过摄像机标定得到M1、M2。从而得到一个关于Xw、Yw、Zw的4个线性方程
构成的超定方程组,可利用最小二乘法解得该点的世界坐标。从上面分析可知,为了实现物体表面的三维重建,主要需要解决摄像机标定和对应点立体匹配这两个问题。在本系统中,摄像机标定使用的是张正友平面标定算法[3,4];在总结前人对应点匹配方法的基
础上,提出了适合笔者使用的匹配方法。实验设备包括:数码相机、投影仪、计算机和滑台。为实现二维图像对应点的匹配,使用投影仪向物体投射结构光,在物体表面形成主动线索特征,以进行对应点的匹配。将滑台水平放置,相机在滑台上水平移动,这样相机可在多个角度拍摄到物体的二维图像。这些二维图像都是相机在相同参数条件下拍摄得到的,所以对摄像机只需进行一次标定。对得到的多角度图像进行主动线索特征提取,然后进行立体匹配,即找到空间同一点在多角度图像上的投影点。在图像立体匹配的基础上,结合相机标定的参数,利用双目视觉原理得到空间点的三维数据,最终实现物体表面的三维重建。
104第4期滕世明,等:基于结构光和序列图像的三维重建方法© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net2 对应点立体匹配基于灰度的匹配[5]方法是把一幅图像中某一点的灰度邻域作为模板,在另一幅图像中搜索具有相同(或相似)灰度值分布的对应点邻域。该方法能获得稠密的偏差图,但计算量大,对缺乏纹理特征的图像或深度不连续处误匹配概率较高,匹配精度较差,受外部环境影响明显。基于特征的匹配不是基于图像灰度信息进行简单的相似度比较,而是利用通过灰度导出的几何特征来实现匹配。具有较强的抗干扰性,相对于基于灰度的匹配,计算量小,速度快,并能处理视差不连续的问题。笔者根据实际情况选择以特征为基元的匹配。目前基于特征的匹配主要利用极线几何,需求解基本矩阵,得到对应点所在的极线,极线上具体对应点还需进一步求解。笔者将滑台水平放置,可使相机在滑台上水平移动,竖直方向不发生位移,因此每次相机成像平面都在同一个平面上。从极线几何的角度讲,极线是在一条直线上,所以不同视角拍摄的图像中的物体对应点在竖直方向像素坐标相同。因而只需进行水平方向上的匹配,不用求解基本矩阵,降低了匹配算法复杂度,提高了匹配的速度。211 图像主动线索特征获取为实现图像的特征匹配,采用了投影结构光给物体表面加上主动特征的方法。笔者根据实验需要,
为了能较好地提取带有深度信息的光栅轮廓,采用了对比度最大的黑白相间竖直平行排列的光栅,如图2所示。然后进行如下操作。1)图像预处理。实验中,物体与背景在颜色信息上是有差异的。设定阈值,将物体和背景相分离。然后对图像进行灰度化处理。2)光栅条纹轮廓获取。光栅条纹携带了物体的轮廓深度信息,需对光栅条纹进行轮廓提取。传统的边缘检测算法如Roberts算法、Sobel算法、Prewitt算法都是局域窗口梯度算法,对噪声敏感,实际处理效果不理想。Canny算法在边缘检测方面有良好的效果,但在实际应用中,如果简单地使用Canny算法进行检测,往往达不到很好的效果,笔者对传统Canny算法进行改进,得到了较好的实验效果。传统的Canny边缘检测算法[6]可概括为以下4个步骤。①用高斯滤波器平滑图像。对信号进行平滑滤波,以滤去噪声。②用一阶偏导的有限差分计算梯度的幅值和方向。③对梯度幅值进行非极大值抑制,梯度幅值的非极大点被除去,使边缘变细。④用双阈值算法检测和连接边缘,设定高低阈值连接边缘,去除噪声和细纹引起的假边缘。笔者对Canny边缘检测算法进行了如下改进。①传统Canny算法在2×2邻域内用求有限差分均值计算梯度幅值,对边缘的定位比较准确,但易受噪声影响,容易形成假边缘。为此使用计算方向导数,采用的微分算子是(-101)和(-101)′。②传统Canny算法在非极大值抑制过程中,使用3×3大小,包含8个方向的邻域对梯度幅值阵列的所有像素沿梯度方向进行梯度幅值的插值。在每点上,将邻域的中心像素与沿梯度方向的2个梯度幅值的插值结果进行比较。由于受噪声的影响,容易将噪声点当作边缘点。所以笔者选择使用5×5大小的邻域对梯度幅值阵列的所有像素沿梯度方向进行梯度幅值的插值。在每点上,将邻域的中心像素与沿梯度方向的4个梯度幅值的插值结果进行比较。通过增多梯度方向上比较点的数量降低噪声影响的概率。③传统Canny算法在检测和连接边缘阶段使用的是固定的高、低阈值,不是由图像边缘的特征信息决定,因此不具有自适应能力,自动化程度低,边缘提取的效果不理想[7]。笔者在对梯度幅值进行非极大值抑制后,得到可能的边缘点集,统计可能边缘点集的直方图,将梯度小于高阈值的像素数目占像素总数目的比例设为R1;将低阈值和高阈值的比例设为R2。根据所得图像梯度值对应直方图,从低梯度值等级开始逐步累加图像点数目,当累加数目达到图像总像素数目的R1时,对应的图像梯度值设置为高阈值,低阈值可通过与高阈值的比例求得。在连接边缘的过程中,传统Canny算法在低阈值8邻点位置寻找可以连接到轮廓上的边缘,而笔者