基于halcon的双目立体视觉焊缝检测
基于halcon的双目立体视觉焊缝检测
1 前言
现代焊接生产中，对焊接技术和质量的要求愈来愈高。
自动化和智能化在焊接生产上的应用日趋广泛。
近年来图像处理技术和机器视觉技术得到空前的发展，如果把机器视觉技术用在焊缝成形质量评判中，可以提高评判效率，为焊接质量评判的智能化打下基础。
机器视觉是运用计算机来模拟人的视觉，从不同事物的图像中获取信息，进行相应处理并加以分析、理解，最终应用于实际的检测与测量等。
机器视觉检测和测量方法不但可以有效提高生产效率与自动化程度，且易于实现信息的集成，从而满足数字化自动化生产的要求。
机器视觉中的立体视觉技术把二维景物的分析推广到了三维景物，该项技术可方便实现从图像获取到三维景物表面重建的完整体系，对于整个机器视觉的发展具有重要意义。
双目立体视觉是立体视觉中的一个重要的分支，它直接模拟人视觉处理景物的方式，可以在各种条件下灵活地测量景的立体信息。
2 双目视觉检测
2.1 基本理论
如图1 所示，设点P为空间焊缝某一特征点，该点在两相机平面O1和O2的投影点依次为P1和P2。
图1 双目视觉原理
根据空间解析几何理论，很显然，式( 3) 中的4个方程均具有平面解析式的形式，前2 方程代表2平面相交，得到的是直线O1P1P 的方程，同理直线O2P2P 的方程由后2 个方程得出。
两直线方程相交，即可求出P 点的空间三维坐标。
可见，若采用单相机模型，则理论上仅能解出一条直线的空间方程，无法得出空间点的准确三维坐标，而双目视觉理论则能够克服这个缺陷，从而使焊缝的精确测量有了可能。
2.2图像处理
为实现准确测量的目的，必须对采集到的图像进行数字化处理。
首先，经过相机采集到的焊缝图像不可避免地存在一些污染痕迹，这
些痕迹会对有效捕捉焊缝特征点产生影响，这在计算机图形学中被称之为噪点，要进行降噪处理以剔除噪点。
其次，初步采集到的图像为全信息图像，欲提取有效焊缝信息，必须对图像进行二值化处理，以便计算机有效区分焊缝轮面坐标系O －XlYl ，O －XrYr 的转换矩阵分别为Ml 和Mr ，那么根据透镜成像原理，针对左右相机，可得如下2 个方程:
1111213141121
22232431
32
33
34=11111
1
1
1u m m
m m v m m m m m m
m
m l
l
l
l
l l l l l l l l X X Y Y Z Z M ⎡⎤⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥
⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦
⎣⎦⎣⎦ (1) 211121314r 221
2223243132
33
34=11111
1
1
1u m m m m m m m m m m
m
m
r
r
r
r
r r r r
r
r r r X X Y Y Z Z v M ⎡⎤⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦
⎣⎦⎣⎦ (2) 式中: ( u1，v1，1) 和( u2，v2，1) 依次为p1和p2的齐次相机平面坐标; ( X ，Y ，Z ，1 ) 为点P 在空间绝对坐标系中的齐次坐标。
将式( 1) 和式( 2) 展开并联立有:
1
1311113212133131434
1
131211322213323243413111131111311114341312113222133()()()()()()()()()()()(l
l
l
l
l
l
l
l
l
l
l
l
l
l
r
r
r
r
r
r
r
r
r
r
r
r
r
X Y Z X Y Z X Y Z X Y u m m u m m u m m m u v m m v m m v m m m u u m m u m m u m m m u v m m v m m v m -+-+-=--+-+-=--+-+-=--+-+-232434
)r
r
r
Z m m u =- (3)
2.3 焊缝检测
设P 和Q 为焊缝图像边缘上的2 个像素点，其经过计算得出的三维坐标为( XP ，YP ，ZP) 和( XQ ，YQ ，ZQ) ，那么，根据空间2点距
离公式有P和Q两点间的距离为:
d=(4) 由此，可计算焊缝边缘上任意两点的距离。
垂直于焊缝轴线并与其轮廓相交的线段长度可认为是焊缝宽度，同时已知空间点坐标也可计算曲线长度，从而有效计算长度。
焊缝高度信息可由左右相机采集到校正后图像立体匹配之后得到的深度图中图像灰度值的变化得到
3 焊缝检测系统
为实现对焊缝检测，需要一套完备的软硬件系统，系统主要结构模块包括图像采集模块、图像处理模块、双目视觉计算模块以及最后的焊缝尺寸计算模块。
下面分别对各个模块进行详细介绍。
3.1 图像采集模块
桥面裂缝检测双目视觉测量系统图像采集模块的核心是双目相机。
本系统两个CCD工业相机，将两个USB工业相机固定在支架上与计算机相连，同过调用halcon程序即可同时采集两幅清晰的焊缝缝图像。
3.2 图像处理模块
图像处理的步骤为：
1) 通过在程序中多次调用算子mean_image对图像进行均值滤波处
理，从而剔除对检测结果不利的噪点。
2) 利用算子emphasize对降噪后的图像进行增强处理，为裂缝边缘检测做准备。
3) 利用算子var_threshold进行自动阈值分割,进而利用算子region_to_bin对图像进行二值化，二值化后图像如图2所示。
图2 二值化焊缝图像
4) 由图2可知焊缝二值化图像效果较差，因此在程序中利用形态学算子closing_circle对图像进行闭运算得到效果较好的二值化图像如图4所示。
图3 二值化图像
5）由图3可知改进后的二值化图像虽仍具有许多孔洞，但利用图3已可以提取焊缝的左右边缘。
在程序中利用halcon算子threshold_sub_pix即可根据二值化图像提取出图像中的轮廓信息，接着通过使用算子select_shape_xld通过对轮廓位置及长度的筛选，提取出焊缝的左右轮廓并滤掉由二值化图像中不需要的孔洞带来的其他轮廓。
提取出的轮廓如图4所示。
6)根据提取出的焊缝的两个轮廓，利用算子distance_cc可计算出两轮廓间最长与最短的坐标距离。
图4 焊缝左右轮廓
3.3 双目视觉计算模块
3.3.1 相机标定
3.1节中对双目视觉基本理论与坐标计算方法作了介绍，其中转换矩阵Ml和Mr中的某些参数是相机的固有属性，称为内参数( 如镜头畸变系数) ，这些参数是已知的。
而将三维空间点投影到二维平面过程中的平移矩阵和旋转矩阵中的参数是未知的，为求解这些参数，以
及得到相机实际内参需要在检测前对相机进行标定。
本文采用自制10cm标定板机halcon标定函数对左右相机进行标定。
经标定之后，相机的内外参数即可求得，代入Ml 和Mr 矩阵，即可参与计算。
3.3.2 图像匹配与尺寸计算
以上分析可见，空间点P 的三维坐标是通过这一点在左右相机平面上的二维坐标计算可得。
因此，从理论上讲，必须精确寻得点P 在左右相机平面中的像点，才能进行准确计算。
这一过程称为图像的匹配过程。
本文中采用halcon自带函数binocular_disparity即可实现图像的匹配。
经匹配计算之后，即可得出同一空间点在两相机平面中的二维坐标。
然后即可得到图像坐标之间与实际物理距离之间比值关系K，根据比例K及上节计算得到的轮廓之间的坐标距离，即可得到两轮廓间的实际物理距离。
将实际得到的结果在halcon图形窗口中显示如下：
图5 程序计算结果
4 结论
系统分析了双目视觉测量理论，从理论上证明了双目视觉技术更适用于尺寸检测。
组建了基于双目视觉技术的焊缝检测系统，说明了双目视觉测量技术在焊缝检测应用方面有较高的可靠度，使之能应用于工程实践。
但是，计算结果表明视觉检测结果与实际值仍有很大误差，系统测量精度需进一步提高。