当前位置:文档之家› 基于图像处理的多传感器融合的物体识别方法与相关技术

基于图像处理的多传感器融合的物体识别方法与相关技术

本技术公开了一种基于图像处理的多传感器融合的物体识别方法,包括以下步骤:S1:获取三通道RGB彩色图像及一通道多线激光测距图像;S2:将RGB彩色图像的摄像机光学坐标投射成激光点云坐标,激光点云坐标投射成360°环形全景坐标;S3:利用深度学习的图像识别技术,针对事先训练过的目标进行目标检测框选定,得到目标检测边界框分布图像及物体类别分布图像。

本技术方法简单,实时性高,基于多传感器实现六通道图像的映射融合,在传统的RGBD四通道图像的基础上,增加了二通道来源于目标检测的物体类别分布图像、目标检测边界框分布图像,为实现快速准确的目标物体定位提供了精准的图像处理基础。

技术要求1.一种基于图像处理的多传感器融合的物体识别方法,包括以下步骤:S1:获取三通道RGB彩色图像及一通道多线激光测距图像;S2:将RGB彩色图像的摄像机光学坐标投射成激光点云坐标,激光点云坐标投射成360°环形全景坐标;S3:利用深度学习的图像识别技术,针对事先训练过的目标进行目标检测框选定,得到目标检测边界框分布图像及物体类别分布图像。

2.根据权利要求1所述的基于图像处理的多传感器融合的物体识别方法,其特征在于,在步骤S1中,所述三通道RGB彩色图像通过摄像机原始图像获取,所述一通道多线激光测距图像通过获取激光点云信息后生成独立图层得到。

3.根据权利要求1所述的基于图像处理的多传感器融合的物体识别方法,其特征在于,在步骤S2中,将摄像机坐标投射成激光点云坐标的具体步骤包括:S201:创建3D临时贴图,贴图坐标为激光坐标,贴图大小为单个摄像头贴图转换为激光点云坐标后的宽度和高度;S202:计算贴图下个像素的激光坐标;S203:判断下个像素是否为贴图的结尾像素,若不是则重复步骤S202,若是则进行下一步骤;S204:将八个摄像机贴图合并,拼接生成激光坐标下的360度全景图。

4.根据权利要求3所述的基于图像处理的多传感器融合的物体识别方法,其特征在于,步骤S202的具体计算过程包括:首先将激光坐标转换成摄像机镜头坐标,再将镜头坐标转换成摄像机像素坐标,最后将对应摄像机像素读取到贴图。

5.根据权利要求1所述的基于图像处理的多传感器融合的物体识别方法,其特征在于,在步骤S2中,将激光点云坐标投射成环形全景坐标的具体步骤包括:S211:创建一个激光点阵图层,大小为1920*1080,左右边缘角度为0—360°,上下角度为-15°—15°,左右边缘角度、上下角度均匀铺展拉伸;S212:读取一列激光点阵存储区数据;S213:计算打印图像的像素角度;S214:计算像素位置,将对应数据赋值到打印的图层;S215:判断当前读取的激光点阵存储区数据是否为数据的结尾,若不是则重复步骤S212—S214,若是则生成图像结束。

6.根据权利要求1所述的基于图像处理的多传感器融合的物体识别方法,其特征在于,在步骤S3中,事先训练过的目标包括目标人员、工作服、安全帽。

技术说明书基于图像处理的多传感器融合的物体识别方法技术领域本技术涉及图像处理领域,特别是涉及一种基于图像处理的多传感器融合的物体识别方法。

背景技术变电站是电力系统稳定运行的重要环节,在变电站中分布着各中重要的变电设备,虽然现有的变电站一般为封闭区域,外来人员不能够进入到变电站内,但是对于变电站内的工作人员来说,对于工作人员的行为却难以得到有效管控,尤其是在变电站内的某些区域来说,采用现有的摄像监控难以准确监控,并且摄像监控存在着盲区,更为重要的是,变电设备种类多、结构不固定,与线路相比检修作业环境更复杂,检修作业过程更繁琐,作业人员位置若无监视则容易因疏忽或其他方面原因误入带电间隔(误碰带电设备)容易引发安全事故,因此应对进入变电站内的作业人员进行准确识别,确保变电站的安全稳定,进而确保整个电网系统的稳定运行。

目前对变电站运维人员的定位多采用摄像头拍摄、激光雷达定位等技术,对拍摄的图像采用人工检测进行人员识别,费时费力,或采用图像处理的方法进行人员定位,但存在的问题是摄像机和激光雷达均为球形镜头,但两者的坐标刻度线截然不同,导致的桶形畸变方向也不一样。

在传统的图像处理中,一般是将桶形畸变图像转成无畸变的图像。

但该处理方法计算复杂,实时性差,同时在整张图像上进行单图层的人员定位跟踪及目标距离检测工作量巨大,定位效果差,距离测算准确率低。

因此亟需提供一种新型的基于图像处理的物体定位方法来解决上述问题。

技术内容本技术所要解决的技术问题是提供一种基于图像处理的多传感器融合的物体识别方法,能够快速准确地实现物体识别。

为解决上述技术问题,本技术采用的一个技术方案是:提供一种基于图像处理的多传感器融合的物体识别方法,包括以下步骤:S1:获取三通道RGB彩色图像及一通道多线激光测距图像;S2:将RGB彩色图像的摄像机光学坐标投射成激光点云坐标,激光点云坐标投射成360°环形全景坐标;S3:利用深度学习的图像识别技术,针对事先训练过的目标进行目标检测框选定,得到目标检测边界框分布图像及物体类别分布图像。

在本技术一个较佳实施例中,在步骤S1中,所述三通道RGB彩色图像通过摄像机原始图像获取,所述一通道多线激光测距图像通过获取激光点云信息后生成独立图层得到。

在本技术一个较佳实施例中,在步骤S2中,将摄像机坐标投射成激光点云坐标的具体步骤包括:S201:创建3D临时贴图,贴图坐标为激光坐标,贴图大小为单个摄像头贴图转换为激光点云坐标后的宽度和高度;S202:计算贴图下个像素的激光坐标;S203:判断下个像素是否为贴图的结尾像素,若不是则重复步骤S202,若是则进行下一步骤;S204:将八个摄像机贴图合并,拼接生成激光坐标下的360度全景图。

进一步的,步骤S202的具体计算过程包括:首先将激光坐标转换成摄像机镜头坐标,再将镜头坐标转换成摄像机像素坐标,最后将对应摄像机像素读取到贴图。

在本技术一个较佳实施例中,在步骤S2中,将激光点云坐标投射成环形全景坐标的具体步骤包括:S211:创建一个激光点阵图层,大小为1920*1080,左右边缘角度为0—360°,上下角度为-15°—15°,左右边缘角度、上下角度均匀铺展拉伸;S212:读取一列激光点阵存储区数据;S213:计算打印图像的像素角度;S214:计算像素位置,将对应数据赋值到打印的图层;S215:判断当前读取的激光点阵存储区数据是否为数据的结尾,若不是则重复步骤S212—S214,若是则生成图像结束。

在本技术一个较佳实施例中,在步骤S3中,事先训练过的目标包括目标人员、工作服、安全帽。

本技术的有益效果是:(1)本技术基于多传感器实现六通道图像的映射融合,在传统的RGBD四通道图像的基础上,增加了二通道来源于目标检测的物体类别分布图像、目标检测边界框分布图像,为实现快速准确的目标物体定位提供了精准的图像处理基础;(2)本技术在单镜头光学坐标到激光坐标再到360度环形全景坐标的转换过程中,通过设计曲面对曲面的转换方式,直接将曲面的图像投射到曲面的激光坐标上去,无需进行畸变图像到无畸变图像的转换,实时性更高;(3)与传统的激光雷达的目标分割和跟踪方法不同,本技术利用了深度学习进行目标分割和跟踪,然后激光点投影到深度学习的检测目标框内,不但可以获取定位信息,也可以获取物体的类别信息,而且实用性好,在大部分场合下,激光点云是稀疏的,而图像是稠密的,所以点云获取的成本代价非常高,而图像获取的成本代价相对低,将目标分割和跟踪放在图像处理中能够极大的减少对激光点云的依赖,降低成本。

附图说明图1是本技术基于图像处理的多传感器融合的物体识别方法的流程图;图2是多图层投影示意图;图3是步骤S2中将摄像机坐标投射成激光点云坐标的流程示意图;图4是步骤S2中将激光点云坐标投射成环形全景坐标的流程示意图。

具体实施方式下面结合附图对本技术的较佳实施例进行详细阐述,以使本技术的优点和特征能更易于被本领域技术人员理解,从而对本技术的保护范围做出更为清楚明确的界定。

请参阅图1,本技术实施例包括:一种基于图像处理的多传感器融合的物体识别方法,主要应用在变电站安监巡检机器人上,通过深度学习的目标检测,和实时激光点云的融合,完成现场的人员个体定位,其包括以下步骤:S1:获取三通道RGB彩色图像及一通道多线激光测距图像;所述三通道RGB彩色图像通过摄像机原始图像获取,所述一通道多线激光测距图像通过获取激光点云信息后生成独立图层得到,激光点云信息为16线360°激光的深度图像,由雷达直接读取获得。

各图像的定义和数据编码为:(1)彩色图像R:摄像机原始图像红色通道,灰度0-255;(2)彩色图像G:摄像机原始图像绿色通道,灰度0-255;(3)彩色图像B:摄像机原始图像蓝色通道,灰度0-255;(4)多线激光测距图像:本实施例中采用16线激光测距灰度图像,灰度1-255,其中纯黑色0表示没有意思,1-255表示距离。

S2:将RGB彩色图像的摄像机光学坐标投射成激光点云坐标,激光点云坐标投射成360°环形全景坐标;结合图2,该步骤中通过设计曲面对曲面的转换方式,直接将曲面的图像投射到曲面的激光坐标上去,无需进行畸变图像到无畸变图像的转换,实时性更高,全部转换公式分为两个步骤:(1)RGB彩色图像的摄像机光学坐标到16线激光点云坐标的投射,结合图3,具体包括以下步骤:S201:创建3D临时贴图,贴图坐标为激光坐标,贴图大小为单个摄像头贴图(转换为激光坐标下的彩色图像)转换为激光点云坐标后的宽度和高度;S202:计算贴图下个像素的激光坐标,包括将激光坐标转换成摄像机镜头坐标,实际上是将镜头中的像素位置(物理位置)标定到激光坐标中,采用激光坐标的每个像素“读取”镜头对应位置的数据,显示效果更均匀;再将镜头坐标转换成摄像机像素坐标,最后将对应摄像机像素读取到贴图;S203:判断下个像素是否为贴图的结尾像素,若不是则重复步骤S202,若是则进行下一步骤;S204:将八个摄像机贴图合并,拼接生成激光坐标下的360度全景图。

该步采用的转换公式为:已知16线激光图像的横坐标(经度弧度)为longitude,纵坐标(纬度弧度)为latitude;输出图像的像素高度为high,宽度为width;相机最大可视角度(弧度)为viewMax;设光学镜头的旋转弧度坐标为alpha,偏离中心点弧度坐标为beta;设相机原始图像的像素横坐标为imageX,纵坐标为imageY;求alpha:第一像限:alpha=arctan(tan(latitude)/sin(longitude));第二,三像限:alpha=arctan(tan(latitude)/sin(longitude))+pi;其中pi=3.1415926;第四像限:alpha=arctan(tan(latitude)/sin(longitude))+2*pi;其中90度:alpha=0.5*pi;270度:alpha=1.5*pi;原点:alpha=0;求beta:beta=arccos(cos(longitude)*cos(latitude));求imageX:imageX=width/2+cos(alpha)*sqrt((high/2)^2+(width/2)^2)*beta/(viewMax/2);求imageY:imageY=high/2-sin(alpha)*sqrt((high/2)^2+(width/2)^2)*beta/(viewMax/2);(2)16线激光点云坐标到360°环形全景坐标的投射,结合图4,具体包括以下步骤:S211:创建一个激光点阵图层,大小为1920*1080,左右边缘角度为0—360°,上下角度为-15°—15°,左右边缘角度、上下角度均匀铺展拉伸;S212:读取一列激光点阵存储区数据;S213:计算打印图像的像素角度,计算过程为:已知当前激光点的序列号No,顶边(第1线)和底边(第16线)的角度差angleMax,线的数量为number;设当前激光点的纬度(角度)为latitude,则latitude=angleMax/2-(No-1)*angleMax/(number-1);经度(角度)longitude直接读取;S214:计算像素位置,将对应数据赋值到打印的图层,计算过程为:已知图像原点(0,0)位于左上角,激光原点(0,0)位于中心;激光纬度为latitude,经度为longitude;激光贴图上下边缘角度差latitudeMax,左右边缘角度差longitudeMax;贴图像素高度最大值为high,宽度最大值为width;设当前点打印像素横坐标为x,纵坐标为y;求x,y:x=width*longitude/longitudeMax+width/2;y=high/2-high*latitude/latitudeMax;S215:判断当前读取的激光点阵存储区数据是否为数据的结尾,若不是则重复步骤S212—S214,若是则生成图像结束。

相关主题