硕士学位论文MASTER DISSERTATION基于激光视觉的焊缝跟踪及纠偏系统Welding Seam Tracking and Correcting System Based on Laser Vision作者沈鹏程校内导师孙坚教授校外导师倪鹏专业领域控制工程中国计量学院二〇一五年六月Welding Seam Tracking and Correcting System Based on Laser VisionByPengcheng ShenA Dissertation Submitted toChina Jiliang UniversityIn partial fulfillment of the requirementFor the degree ofMaster of EngineeringChina Jiliang UniversityJune, 2015中图分类号TP242.2 学校代码10356 UDC621.3 密级公开硕士学位论文MASTER DISSERTATION基于激光视觉的焊缝跟踪及纠偏系统Welding Seam Tracking and Correcting System Based on Laser Vision作者沈鹏程专业领域控制工程校内导师孙坚教授校外导师倪鹏申请学位工学硕士论文类型应用研究二〇一五年六月独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中国计量学院或其他教育机构的学位或证书而使用过的材料。

与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。

学位论文作者签名：签字日期：年月日学位论文版权使用授权书本学位论文作者完全了解中国计量学院有关保留、使用学位论文的规定。

特授权中国计量学院可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。

同意学校向国家有关部门或机构送交论文的复印件和磁盘。

（保密的学位论文在解密后适用本授权说明）学位论文作者签名：导师签名：签字日期：年月日签字日期：年月日致谢我在研究生三年的学习和生活中受益良多，首先要感谢我的导师孙坚教授在我攻读硕士期间给我的悉心指导和帮助，他为人谦和热情，治学严谨细心。

在生活中，能像我知心的朋友一样鼓励我，在科研上，孙坚教授渊博的学识、严谨的治学态度，也深深的影响了我，在论文的写作和措辞等方面，他总是以“专业标准”严格要求我，在孙坚教授的指导下，使我在研究生三年的学习中也取得了一定的成绩，让我的学习科研能力、动手实践能力有了突飞猛进。

值此毕业论文之际，谨向恩师致以衷心的感谢和祝福。

感谢研究所全体老师在本文研究过程中给予的指导和帮助，特别感谢钟少俊老师提供的帮助和宝贵意见，在整个毕业设计过程中，从开题报告、系统方案设计和系统调试中都给予了指导。

感谢师弟张振、陶伟、刘春学在系统硬件搭建时，给予的帮助；感谢游于训、王亚丽、沈广月同学在后续软件算法编写时给予的帮助。

感谢张海波、朱少诚师兄在论文写作过程中，给予的指导；感谢唐杰学长、刘君学姐在前期工作中给予的帮助和支持。

从论文的选题到搜集资料，从写稿到反复修改，期间经历了喜悦、痛苦和彷徨，伴随着这篇毕业论文的最终成稿，自己还有一点成就感，短暂的三年研究生生活很快就要结束，再次真诚地感觉所有在我三年读书期间帮助过我的老师、同学和朋友，祝大家一生平安！最后要感谢的是我的父母，感谢他们多年来一直给予我鼎力支持和无私奉献，默默的支持我完成学业。

在未来的日子里，我会更加努力的学习和工作，不辜负父母对我的殷切期望！沈鹏程2015年6月基于激光视觉的焊缝跟踪及纠偏系统摘要：本文是在示教型焊接机器人的平台上，针对其不能在焊接过程中实时纠正焊缝偏差导致焊接精度较低的问题，综合国内外焊接机器人发展及研究现状，发现焊接机器人技术与传感技术密不可分，而在众多传感方式中激光视觉传感获得的焊缝信息量最大且精度较高，因此本文提出了在示教机器人的基础上增加激光视觉模块来提高原示教型焊接机器人的焊接精度。

本文主要工作如下：(1) 对基于激光视觉的焊缝跟踪及纠偏系统进行硬件和软件方案设计，在硬件上，对激光视觉模块的硬件进行选型，包括了工业相机、光学镜头、激光传感器及窄带滤光片，除此以外，为了在焊接时能对视觉系统进行有效的保护，本文设计了激光视觉系统保护装置。

(2) 系统的图像处理软件是在VS2008和OpenCV平台上进行开发的，其处理过程主要分为图像预处理和图像后处理，图像预处理的目的是对焊缝图像进行除噪和增强光带条纹信息，主要包括的处理方法有：高斯滤波，直方图均衡化以及图像二值化。

(3) 经过图像预处理，得到清晰的光带条纹之后，进行了图像后处理，首先确定了焊缝图像的感兴趣区域，缩小了图像处理的范围，为后续图像处理提高处理速度；然后，通过图像细化的方法得到焊缝图像中光带条纹的中心线；最后，通过斜率法来提取焊缝图像的特征点，并对提取的结果进行了分析和图像误差计算。

(4) 在分析标定原理的基础上，通过相机标定确定相机图像坐标系和世界坐标系的转换关系，并得到系统标定误差，上位机与示教型焊接机器人控制器TMS320F2812通过RS232串口建立通信方式。

综合图像误差及相机标定误差，系统的误差值在1mm误差范围内，原示教型机器人的焊接精度得到了提高。

关键词：激光视觉；焊缝跟踪与纠偏；焊接机器人；图像处理；相机标定分类号：TP242.2UDC：621.3IWelding Seam Tracking and Correcting SystemBased on Laser VisionAbstract: This dissertation aimed at the low accuracy of teaching welding robot and the robot cannot correct the welding position in real-time; researched on the development of welding robot at home and abroad; found that welding robot technology is bounded together with sensor technology, it showed that laser vision achieves the largest information of welding seam and has high accuracy among those sensors which can be used on welding seam tracking and correcting. Thus, this thesis proposed a method that added a laser vision module on the platform of teaching robot to improve its accuracy. All of the work including:(1) Designed the hardware and software of the laser vision system. The design and selection for hardware equipments include: industrial camera, optical lens, laser sensor, and narrow-band filters, in addition, this dissertation designed a protection device for the laser vision system.(2) The software of this system was developed on the environment of VS2008 and OpenCV, the main work of image processing can be divided into two steps: preprocessing and postprocessing, the purpose of preprocessing is reduce image noise and enhance the image information of optical stripe, methods such as Gaussian filtering, histogram equalization and image binarization.(3) After image preprocessing, the clear optical stripe can be obtained, then steped into image postprocessing. In this part, the region of interest was chosen first to narrow the image processing range and reduced time for subsequent process; then, through image thinning method to get the center line of optical stripe; at last, used slope method to extract feature points from image, also analyzed extraction results and image errors calculation.(4) Analyzed the camera calibration principle, and through the calibration to determin the conversion relationship between image coordinate system and world coordinate system; acquired calibration error after calculation; established RS232 serial communication between PC and teaching welding robot controllerIITMS320F2812.Combined camera calibration error with image error, the total error of vision system is less than 1 mm, this system has improved the accuracy of teaching welding robot. Keywords: laser vision; welding seam tracking and correcting; welding robot; image processing; camera calibrationClassification: TP242.2UDC：621.3III目次摘要 (I)目次 (IV)图清单 (VI)附表清单 ................................................................................................................... V II 1 绪论 (8)1.1 选题背景与意义 (8)1.2 焊接机器人发展概况 (9)1.3 焊接过程中的传感技术概况 (12)1.3.1 电弧式传感器 (12)1.3.2 视觉传感技术 (13)1.4 国内外激光视觉焊接技术发展状况及应用 (14)1.5 本文研究内容 (15)2 焊缝跟踪及纠偏系统总体设计及硬件组成 (17)2.1 引言 (17)2.2 系统总体设计 (17)2.2.1 设计方案 (17)2.2.2 设计指标及要求 (18)2.3 系统硬件组成及选型 (19)2.3.1 示教型焊接机器人原型机 (19)2.3.2 工业相机 (20)2.3.3 光学镜头 (22)2.3.4 激光传感器与窄带滤光片 (23)2.3.5 视觉系统保护装置 (25)2.4 小结 (27)3 焊缝跟踪及纠偏系统软件设计及图像预处理 (28)3.1 引言 (28)3.2 图像处理基本概念 (28)3.3 系统软件设计 (30)IV3.3.1 图像处理软件 (30)3.3.2 设计方案 (31)3.4 图像预处理 (32)3.4.1 图像平滑处理方法 (32)3.4.2 图像增强处理方法 (35)3.4.3 图像二值化处理方法 (36)3.5 小结 (37)4 图像后处理与焊缝特征点提取 (38)4.1 引言 (38)4.2 图像后处理 (38)4.2.1 焊缝图像感兴趣区域提取 (38)4.2.2 焊缝图像提取中心线方法 (39)4.3 焊缝图像特征点提取 (42)4.3.1 斜率法提取焊缝特征点 (42)4.3.2 对接型和搭接型焊缝图像特征点提取结果及分析 (43)4.4 图像误差数值分析 (44)4.5 小结 (46)5 实验标定与焊接机器人通信 (47)5.1 引言 (47)5.2 坐标系转换与实验标定 (47)5.2.1 坐标系转换关系 (47)5.2.2 相机标定原理 (50)5.2.3 相机标定实验与结果 (54)5.3 焊接机器人通信 (57)5.4 小结 (59)6 总结和展望 (60)6.1 总结 (60)6.2 展望 (60)参考文献 (62)作者简介 (65)V图清单图 1.1 iRVision视觉传感系统 (11)图 1.2 Laser-Pilot焊接系统 (11)图 1.3 ROBO-FIND焊接机器人 (11)图 2.1 系统结构示意图 (17)图 2.2 对接型焊缝示意图 (18)图 2.3 搭接型焊缝示意图 (18)图 2.4 四轴联动示教型焊接机器人原型机 (19)图 2.5 大恒MER-130-30UM相机 (21)图 2.6 25mm焦距相机镜头 (23)图 2.7 激光视觉模块保护装置设计图 (26)图 2.8 激光视觉模块保护装置实物图 (26)图 3.1 图像坐标系 (29)图 3.2 焊缝图像处理软件界面 (31)图 3.3 软件系统结构图 (31)图 3.4 图像掩膜示例 (33)图 3.5 高斯滤波后的对接型焊缝图像 (34)图 3.6 图像增强后的对接型焊缝图像 (36)图 3.7 二值化后的对接型焊缝图像 (37)图 4.1 选取焊缝图像中的感兴趣区域 (39)图 4.2 骨骼化后的焊缝图像 (42)图 4.3 无弧光影响对接型焊缝特征点提取 (43)图 4.4 无弧光影响搭接型焊缝特征点提取 (43)图 4.5 有弧光影响对接型焊缝特征点提取 (44)图 4.6 有弧光影响搭接型焊缝特征点提取 (44)图 5.1 相机镜头畸变影响下坐标系关系示意图 (49)图 5.2 Matlab标定工具箱软件界面 (54)图 5.3 相机标定板 (55)图 5.4 相机采集得到的标定板图像 (55)图 5.5 标定板角点识别 (56)图 5.6 焊接机器人控制器及外围电路 (57)图 5.7 焊接机器人通讯软件界面 (58)VI附表清单表 2.1系统主要技术指标及工作对象要求 (18)表 2.2 四轴联动示教型焊接机器人原型机性能指标及参数 (19)表 2.3 相机主要性能及参数表 (21)表 2.4 相机镜头性能参数 (23)表 2.5 半导体激光器性能参数 (24)表 4.1 无弧光影响图像偏移量 (45)表 4.2 有弧光影响图像偏移量 (46)表 5.1 焊接机器人主控芯片性能参数 (57)表 5.2 通信模块信号注明 (58)表 5.3 异步串行通信模块设置 (59)VII中国计量学院硕士学位论文1 绪论1.1 选题背景与意义焊接作为材料加工中的一个重要环节，在工业生产中得到了广泛的应用，同时，它也是工业生产中的一个非常重要的加工方法，全世界将近百分之五十的钢产量，都是经由焊接工艺变为各种产品。