机器视觉和巡检机器人在智能化电力设备故障检测中的应用汇报人：李金屏济南大学吴文俊人工智能科学技术进步奖二等奖完成单位： 济南大学 山东鲁能智能技术有限公司2吴文俊人工智能科学技术奖目 录1项目基本情况3研究背景4开发思路5具体方法6创新点7实现效果8相关成果2项目简介1 第一部分项目基本情况1 项目基本情况项目名称：基于巡检机器人的特殊地域设备故障和实时报警的智能视频监测系统Intelligent Real Time Equipment Breakdown Video Monitoring System based on Patrol Robot主题词：视频监控；巡检机器人；电力系统；设备故障监测主要完成单位：济南大学；山东鲁能智能技术有限公司任务来源：国网山东省电力公司电力科学研究院，基于视频的巡检机器人导航及仪表设备识别研究（企业合作项目）；济南市高校自主创新计划，面向视频监控的事件检测与行为分析系统（编号7NK1005）项目起止时间：2007.01 - 2010.124吴文俊人工智能科学技术奖2 第二部分项目简介2 项目简介本项目利用巡检机器人，基于信息化技术进行电力设备故障监控，提高监控效率和减少事故率。

主要内容：利用巡检机器人及其所携带的可见光和热成像摄像头开展针对电力设备的智能化设备监控研究。

要点是：在现有的视频监控系统基础上，通过建立巡检机器人在各个停靠点的各种典型情况下的图像数据库，在人工标定各个设备的前提下，只利用图像配准技术，通过对前端摄像头采集的可见光和热成像视频流信息进行实时监视和分析，就可以进行视野内各种相关设备的准确定位和温度异常检测，从而实现设备的远距离状态监控。

项目所属的科学技术领域：电力系统信息化与自动化技术。

6吴文俊人工智能科学技术奖3 第三部分研究背景3 研究背景◆现状：目前，中国电力行业的变电站和电厂等电力系统的设备监测主要依靠人工巡检作业方式。

◆问题：在高压、超高压以及恶劣气象条件下，人工作业方式不仅人身危险性大，而且对电网安全运行也带来一定隐患。

◆已经提出的解决方案：利用巡检机器人沿着既定导航路线进行设备自动巡检，利用其自带的可见光和热成像摄像头实现电力系统的无人值守或少人值守。

◆该方案的优势：✓减少人员疏忽、漏检等带来的设备损失，提高电网的运行质量；✓减少供电系统的人员投入，降低人员成本；✓减少高电压辐射对于人的慢性健康危害。

8吴文俊人工智能科学技术奖3 研究背景◆解决方案中尚存在的问题：✓无法进行设备定位：虽然巡检机器人能够对异常温度信息进行报警，但是无法指出设备的位置信息，更难以区分设备和非设备因素的异常温度，从而导致误报率较高；✓在光线差的条件下无法工作：此时可见光摄像头难以正常工作，致使人工监测时无法将热成像图片与可见光图片进行比较，难以判定红外热成像图像的准确位置。

◆要求：对于目前的设备巡检机器人系统进行改进，实现各种设备尤其是温度异常设备的精确定位和异常报警，从而便于推广普及、降低人工监测成本和劳动强度，并最终实现变电站的无人值守。

9吴文俊人工智能科学技术奖4 第四部分开发思路4 开发思路◆建立设备图片库：建立巡检机器人在巡检线路上各个停靠点处所有预置位上所获取的设备可见光图片库，相关专家的指导下标定库中各个设备的位置，并建立设备类别和唯一编号。

◆可见光图像实时匹配，设备检测识别：利用图像处理和图像配准等技术，将机器人实时获取的停靠点可见光观测图像与图片库相对应的可见光图片进行匹配，从而获得实时可见光图像中各个设备的位置和编号。

◆可见光与热成像图片配准：通过与相应热成像图片进行多模图像匹配，得到各个设备的工作状态。

◆异常设备输出：利用人工预先设定的各个设备的异常阈值，实现异常设备的编号（ID号）和位置的准确输出。

11吴文俊人工智能科学技术奖5 第五部分具体方法5 具体方法——建立设备图片库◆基本方法：针对不同季节、天气、巡检时刻和停靠点等因素建立各个停靠点全天候多角度的设备区域图片库。

设计多种匹配算法，从而减小或者消除实时图片与图片库中相应图片之间存在的平移、旋转、伸缩、扭曲等变形和光线、亮度等差异。

◆可行性分析：每个停靠点所有云台预置位所存储图片的数量大约为1680-3000张。

对于1000个停靠点的大型变电站，大约占用60G磁盘空间。

◆检索方式：对于图片库中的所有图像文件，按照编码存储。

检索时，系统自动确定停靠点、季节和巡检时刻，再利用图像灰度分析和光敏传感器等技术判定天气类型，自动搜索相对应目录中的图片并进行图像匹配，从而确保非常高的检索速度。

◆建库方式：采用半自动方法建立图片库，即让巡检机器人系统自动将不同季节、日期、巡检时刻、天气（利用前述方法）以及停靠点的所有预置位图像进行保存。

13吴文俊人工智能科学技术奖5 具体方法——可见光图像的实时匹配，设备检测识别◆图像匹配方法：巡检机器人实时获得的可见光图像需要和图片库中相应图片进行实时匹配。

设计了多种算法来校正形变和消除灰度差别，如能量归一化和灰度均衡化、相关函数法、投影直方图法、特征点集法、主成分分析法和小波变换法等。

◆可见光图像配准的准确性：由于在图片库中所有的设备已经进行了人工标定，图像匹配成功就意味着图像中所有的设备得到了正确的识别和定位。

设备识别速度完全取决于匹配算法，匹配算法可以离线进行目前，视野内设备的正确检测率可以达到100%。

图片库中图像实时图像14吴文俊人工智能科学技术奖5 具体方法——可见光与热成像图片配准◆可见光图像与红外图像的配准：✓多模态图像配准：目前的巡检机器人本体携带可见光和红外热成像摄像头位置关系是可以校准的。

校准以后，可以利用多模图像匹配技术解决可见光图像与热成像图像的匹配问题。

✓利用固定的位置关系：为了提高匹配的准确率，还可以利用两个摄像头位置之间的关系，通过读取摄像头的变倍参数等信息，通过图像放大缩小等操作，在可见光摄像头没有变倍时，红外热像仪图像的拍摄范围处于可见光摄像头图像的中间某个特定位置。

多模配准问题得到解决，其准确率达到100%。

这种配准可以提前完成。

15吴文俊人工智能科学技术奖5 具体方法——异常设备输出◆异常设备的定位和报警：在可见光图像匹配以后，利用相应的预先配准的红外热成像图像可以检测图像中所有相关设备的工作状态。

利用人工预先设定的各个设备的异常阈值，实现异常设备的编号和位置的准确输出。

◆全天候工作分析：由于预先建立的图片库涉及到所有的天气和光线状况，检测系统将获取到的实时图像与图片库中相应季节、天气、巡检时刻以及拍摄角度等相对应的图片相匹配，因此该系统可以全天候工作。

16吴文俊人工智能科学技术奖6 第六部分创新点6 创新点(1) 设备的检测准确率达到100%：针对巡检机器人，利用红外投射式摄像头和红外热像仪实现了全天候电力系统的智能设备监测，在摄像头观测视野内设备的检测准确率达到100%。

这就有效地解决了设备准确定位问题。

(2) 理论和方法的创新点：避免“强攻”，简化问题，即在详细研究多模图像配准的基础上，创造性的提出了建立巡检机器人各个停靠点各种情况下的图像数据库，将复杂的多模图像配准、多种设备的特征提取和模式识别问题转换成单模图像配准和设备人工标定等简单问题，极大提高了设备检测的准确率。

(3) 外延研究：对于移动目标实现了良好的检测、跟踪和行为分析，尤其是对于各种环境中行人的检测和行为分析，对于电力系统的安全监管具有重要意义。

18吴文俊人工智能科学技术奖7 第七部分实现效果20吴文俊人工智能科学技术奖7 实现效果——巡检机器人7 实现效果——系统界面21吴文俊人工智能科学技术奖7 实现效果——系统界面22吴文俊人工智能科学技术奖7 实现效果——系统界面23吴文俊人工智能科学技术奖7 实现效果——应用情况该成果通过山东鲁能智能技术有限公司等推广，在一些变电站、电厂等电力系统进行推广获得了广泛应用。

山东鲁能智能技术有限公司所研制的变电站巡检机器人，已累计推广应用42套。

变电站智能机器人的推广应用范围已遍布山东、北京、天津、广东、广西、浙江、江西、陕西、山西等全国十几个省、自治区和直辖市，覆盖了从220kV到1000kV特高压各电压等级交、直流变电站。

变电站巡检机器人自2009年至今，已累计为用户发现82处事故隐患，通过提前预警，及时进行处理，避免了重大电力事故，得到用户的好评。

24吴文俊人工智能科学技术奖7 实现效果——应用情况以2011年4月15日发现的崂山500kV变电站#2主变500kV侧50112刀闸C相安全隐患为例，避免50112刀闸过热损坏，避免直接经济损失数十万元。

50112刀闸的损坏会照成#2主变停运，#2主变所带负荷将会停运。

通过紧急调度其他线路恢复供电时间以2小时计算，崂山500kV变电站#2主变额定容量750MVA，以80%负荷运行计算，停电损失1.2M度，以0.5元每度电计算，机器人避免停电损失60万元。

崂山站的负荷主要供应青岛市，缺陷如果造成停电事故，必将形成青岛市大面积停电，给青岛市人民的生产生活带来不便，而且非计划的停电事故，会造成工厂停工，严重的发生设备损坏，损失不得估量。

电力机器人能够发现类似缺陷，避免这种情况的发生。

25吴文俊人工智能科学技术奖7 实现效果——应用情况巡检机器人可以辅助人工进行电力设备的检测，最大程度的降低电力工人的劳动强度，减少工作量，节约人工成本。

应用巡检机器人可减少每周一次的红外测温工作共10小时，减少10小时。

设备现场巡视记录数据工作每周30小时，减少15小时。

事故处理现场设备外观检查0.2小时/次，减少0.1小时/次，且在有人员安全风险的情况下机器人能够进入。

个别设备特殊巡视或定期跟踪。

每月2小时，减少1.8小时。

机器人可定位跟踪设备状态并实时监视热缺陷，比人工监视更加准确。

在事故处理期间，机器人能够减少5～10分钟的事故处理时，提高了恢复送电速度。

综合以上情况评估任务，巡检机器人的应用能够每周减少人员实际工作量约为26小时，平均每天节约社会劳动时间4小时，大大减少时间成本。

26吴文俊人工智能科学技术奖7 实现效果——经济效益根据电力系统因元件损坏导致的停电损失计算，变电站巡检机器人在推广过程中，已经为用户发现几十处事故隐患，单项事故可避免直接经济损失数十万元计。

根据电力机器人可以辅助人工进行电力设备的检测，从降低电力工人的劳动强度，减少工作量，节约人工成本计算，巡检机器人的应用能够每周减少人员实际工作量约为26小时，平均每天节约社会劳动时间4小时，可节省人力成本及其他各项费用。

27吴文俊人工智能科学技术奖7 实现效果——经济效益变电站巡检机器人依赖于多学科技术的发展，同时变电站巡检机器人的产业化又带动了相关产业的发展。