当前位置:文档之家› 用单目摄像头追踪移动物体中目标位置的方法与相关技术

用单目摄像头追踪移动物体中目标位置的方法与相关技术

图片简介:本技术公开一种用单目摄像头追踪移动物体中目标位置的方法,其实现步骤包括:1、获取基准图片;2、计算标签1和标签2位置;3、确定追踪时标签1的位置;4、计算标签2的位置;5、计算标签2的角度;6、完成测量位置的追踪。

本技术利用追踪前确定的物体中被跟踪的目标位置,追踪物体运动中被跟踪的目标不存在时,该物体中原来的目标位置,有效的解决了直接跟踪目标,当目标不存在时会造成跟踪失败的问题,使得本技术的方法可以更准确的追踪物体的测量位置。

技术要求1.一种用单目摄像头追踪移动物体中目标位置的方法,其特征在于,追踪前,利用单目摄像头获取标签1和标签2的三维坐标,追踪时,遮挡标签2,利用单目摄像头获取标签1的三维坐标,计算标签2位置,该方法的步骤包括如下:(1)获取基准图片:追踪开始前,使用单目摄像头连续拍摄静止的被测物体的十帧图片,将最后一张图片作为基准图片,该基准图片中包括被测物体、标签1和标签2;(2)计算标签1和标签2位置:(2a)利用apriltag算法中的距离公式,分别计算基准图片中标签1与单目摄像头的距离以及基准图片中标签2与单目摄像头的距离;(2b)按照下式,计算标签1和标签2之间的角度;其中,β1表示在基准图片中标签1的参考顶点A和参考顶点B之间的直线与标签1参考顶点A和标签2中心点之间的直线的角度,arctan表示反正切操作,centy1表示在基准图片中标签2中心点对应y轴的坐标,Ay1表示在基准图片中标签1的参考顶点A处对应y轴的坐标,centx1表示在基准图片中标签2中心点对应x轴的坐标,Ax1表示在基准图片中标签1的参考顶点A处对应x轴的坐标,By1表示在基准图片中标签1的参考顶点B处对应y轴的坐标,Bx1表示在基准图片中标签1的参考顶点B处对应x轴的坐标。

(2c)按照下式,计算标签1参考顶点A与标签2中心点的距离;其中,R1表示在基准图片中标签1参考顶点A与标签2中心点之间的距离,表示取平方根操作,centy1表示在基准图片中标签2中心点对应y轴的坐标,Ay1表示在基准图片中标签1的参考顶点A处对应y轴的坐标,centx1表示在基准图片中标签2中心点对应x轴的坐标,Ax1表示在基准图片中标签1的参考顶点A处对应x轴的坐标;(3)确定追踪时标签1的位置:(3a)追踪开始时,遮挡被测物体上的标签2;(3b)利用apriltag算法中的距离公式,计算在单目摄像头拍摄范围内任意移动被测物体时每帧图片中标签1与单目摄像头的距离;(4)计算标签2的位置:(4a)利用距离公式,计算每帧图片中标签1移动时参考顶点A与被遮挡的标签2中心点之间的距离;(4b)按照下式,计算标签1与被遮挡的标签2之间的角度;β2=β1+α3其中,β2表示每帧图片中标签1参考顶点A和被遮挡的标签2中心点之间的直线与单目摄像头水平轴的角度,β1表示在基准图片中标签1参考顶点A和参考顶点B之间的直线与标签1参考顶点A和标签2中心点之间的直线的角度,α3表示每帧图片中标签1参考顶点A和参考顶点B之间的直线与单目摄像头水平轴的角度;(4c)利用位置公式,计算被遮挡的标签2中心点位置;(5)计算标签2的角度:利用角度公式,计算每帧图片中被遮挡的标签2参考顶点A和参考顶点B之间的直线与单目摄像头水平轴之间的角度;(6)完成测量位置的追踪。

2.根据权利要求1所述的用单目摄像头追踪移动物体中目标位置的方法,其特征在于,步骤(2a)、步骤(3b)中所述的apriltag算法中的距离公式如下:di=-s×h22×scale/2其中,di表示在基准图片中标签中第i个像素点与单目摄像头的距离,s表示系数,h22表示标签坐标系中的四个顶点的齐次坐标到图像标签坐标系中的四个顶点坐标的映射矩阵中第3行第3列的元素值,scale表示标签的边长值。

3.根据权利要求1所述的用单目摄像头追踪移动物体中目标位置的方法,其特征在于,步骤(2b)中所述的标签的参考顶点A和参考顶点B指的在标签未旋转时标签的的左上顶点和右上顶点。

4.根据权利要求1所述的用单目摄像头追踪移动物体中的目标位置方法,其特征在于,步骤(4a)中所述的距离公式如下:R2=d1×R1/d2其中,R2表示每帧图片中标签1参考顶点A与被遮挡的标签2中心点之间的距离,d1表示在基准图片中标签1与单目摄像头的距离,R1表示在基准图片中标签1参考顶点A与标签2中心点之间的距离,d2表示每帧图片中标签1与单目摄像头的距离。

5.根据权利要求1所述的用单目摄像头追踪移动物体中目标位置的方法,其特征在于,步骤(4c)中所述的位置公式如下:centx2=Ax3+R2×cosβ2centy2=Ay3+R2×sinβ2其中,centx2表示每帧图片中被遮挡的标签2中心点的x轴坐标,Ax3表示每帧图片中标签1参考顶点A处对应x轴的坐标,R2表示每帧图片中标签1参考顶点A与被遮挡的标签2中心点之间的距离,cos表示余弦操作,β2表示每帧图片中标签1参考顶点A和被遮挡的标签2中心点之间的直线与单目摄像头水平轴之间的角度,centy2表示每帧图片中被遮挡的标签2中心点的y轴坐标,Ay3表示视频帧中标签1参考顶点A处对应y轴的坐标,sin表示正弦操作。

6.根据权利要求1所述的用单目摄像头追踪移动物体中目标位置的方法,其特征在于,步骤(5)中所述的角度公式如下:α4=α3-α1+α2其中,α4表示每帧图片中被遮挡的标签2的参考顶点A和参考顶点B之间的直线与单目摄像头水平轴之间的角度,α3表示每帧图片中标签1参考顶点A和参考顶点B之间的直线与单目摄像头水平轴之间的夹角,α1表示在基准图片中标签1参考顶点A和参考顶点B之间的直线与单目摄像头水平轴之间的夹角,α2表示在基准图片中标签2参考顶点A和参考顶点B之间的直线与单目摄像头水平轴之间的夹角。

技术说明书用单目摄像头追踪移动物体中目标位置的方法技术领域本技术属于目标追踪技术领域,更进一步涉及运动目标跟踪技术领域中的一种用单目摄像头追踪移动物体中目标位置的方法。

本技术可用于根据追踪前确定的物体中被跟踪的目标位置的前提下,追踪物体运动中被跟踪的目标不存在时,该物体中原来目标位置的变化。

背景技术对物体中特定的目标,当物体移动时,需要对该特定的目标进行追踪,尤其是当该特定的目标不存在时,例如被追踪物体运动中被跟踪的目标被遮挡或者移走后,现有技术大多采用多相机利用多相机间的约束方法来得到被遮挡目标的追踪结果或者采用光流法和模糊PID控制直接跟踪目标。

曜科智能科技(上海)有限公司在其申请的专利文献“多相机目标追踪方法、系统、装置及存储介质”(申请日:2018.12.29,申请号201811637626.8,申请公开号CN 111383252A)中介绍了一种多相机目标追踪的方法和装置。

该专利申请公开的方法的步骤为,通过对多个相机每次同步拍摄的多个图像帧进行多个原始图像区域的选取,并对应提取的特征图且据以通过滤波器生成响应图,通过辨别包含得分最高的目标点的响应图所确定的追踪目标边界框在对应的图像帧中提取追踪结果。

该方法的优点是,某些相机下追踪目标被遮挡时通过多相机间的约束方法来得到被遮挡图像帧的追踪结果,有效消除追踪遮挡,且多相机可以同时提供追踪目标在多个视角的信息,作为输入可以使得相关滤波学习到多角度的特征从而对视角变化更具有鲁棒性。

但是,该方法仍然存在的不足之处是,多相机追踪时每次都需对同步拍摄的多个图像帧进行处理,实时性低。

厦门脉视数字技术有限公司在其申请的专利文献“一种运动目标跟踪方法”(申请日:2020.03.04,申请号202010141749.3,申请公开号CN 111382784 A)中介绍了一种运动目标跟踪方法。

该方法基于嵌入式系统中的连续多帧图像数据,采用混合高斯背景建模来提取前景运动目标,当运动目标出现,混合高斯背景模型分离出运动目标,提取运动目标的角点特征,将对运动目标的追踪换成对角点特征的特征点追踪,使用光流法跟踪特征点,当同时出现多个运动目标时,采用角点聚类分析方法提取角点特征,在追踪运动目标的过程中,使用云台追踪并使云台一直转动,采用模糊PID控制方法使运动目标始终处于图像的中心位置。

该方法的优点是同时出现多个运动目标时,采用角点聚类分析方法提取角点特征,利用光流法对角点进行追踪,即使背景一直变化,仍然可以正确追踪特征点。

但是,该方法仍然存在的不足之处是,直接跟踪目标,当这个目标不存在时,会造成跟踪失败。

技术内容本技术的目的在于针对上述已有技术的不足,提出了一种用单目摄像头追踪移动物体中目标位置的方法,以解决在对移动物体中目标位置追踪的现有技术中,不能在被跟踪的目标不存在对原来的目标位置进行追踪、追踪位置的实时性和精确度低的问题。

实现本技术目的的具体思路是:追踪前,利用单目摄像头获取标签1和标签2的三维坐标,计算标签1与标签2之间的距离和角度;追踪时,遮挡标签2,任意移动被测物体,利用单目摄像头获取标签1的三维坐标,根据标签1与单目摄像头的距离、标签1的旋转角度、追踪前得到的标签1与标签2之间的距离和角度计算标签2的位置和角度,达到对移动物体中目标位置的追踪。

实现本技术目的的方法,包括如下步骤:(1)获取基准图片:追踪开始前,使用单目摄像头连续拍摄静止的被测物体的十帧图片,将最后一张图片作为基准图片,该基准图片中包括被测物体、标签1和标签2;(2)计算标签1和标签2位置:(2a)利用apriltag算法中的距离公式,分别计算基准图片中标签1与单目摄像头的距离以及基准图片中标签2与单目摄像头的距离;(2b)按照下式,计算标签1和标签2之间的角度;其中,β1表示在基准图片中标签1的参考顶点A和参考顶点B之间的直线与标签1参考顶点A和标签2中心点之间的直线的角度,arctan表示反正切操作,centy1表示在基准图片中标签2中心点对应y轴的坐标,Ay1表示在基准图片中标签1的参考顶点A处对应y轴的坐标,centx1表示在基准图片中标签2中心点对应x轴的坐标,Ax1表示在基准图片中标签1的参考顶点A处对应x轴的坐标,By1表示在基准图片中标签1的参考顶点B处对应y轴的坐标,Bx1表示在基准图片中标签1的参考顶点B处对应x轴的坐标;(2c)按照下式,计算标签1参考顶点A与标签2中心点的距离;其中,R1表示在基准图片中标签1参考顶点A与标签2中心点之间的距离,centy1表示在基准图片中标签2中心点对应y轴的坐标,Ay1表示在基准图片中标签1的参考顶点A处对应y 轴的坐标,centx1表示在基准图片中标签2中心点对应x轴的坐标,Ax1表示在基准图片中标签1的参考顶点A处对应x轴的坐标;(3)确定追踪时标签1的位置:(3a)追踪开始时,遮挡被测物体上的标签2;(3b)利用apriltag算法中的距离公式,计算在单目摄像头拍摄范围内任意移动被测物体时每帧图片中标签1与单目摄像头的距离;(4)计算标签2的位置:(4a)利用距离公式,计算每帧图片中标签1移动时参考顶点A与被遮挡的标签2中心点之间的距离;(4b)按照下式,计算标签1与被遮挡的标签2之间的角度;β2=β1+α3其中,β2表示每帧图片中标签1参考顶点A和被遮挡的标签2中心点之间的直线与单目摄像头水平轴的角度,β1表示在基准图片中标签1参考顶点A和参考顶点B之间的直线与标签1参考顶点A和标签2中心点之间的直线的角度,α3表示每帧图片中标签1参考顶点A和参考顶点B之间的直线与单目摄像头水平轴的角度;(4c)利用位置公式,计算被遮挡的标签2中心点位置;(5)计算标签2的角度:利用角度公式,计算每帧图片中被遮挡的标签2参考顶点A和参考顶点B之间的直线与单目摄像头水平轴之间的角度;(6)完成测量位置的追踪。

相关主题