(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910335507.5
(22)申请日 2019.04.24
(71)申请人 中山大学
地址 510275 广东省广州市海珠区新港西
路135号
(72)发明人 成慧　蔡俊浩　苏竟成　
(74)专利代理机构 广州粤高专利商标代理有限
公司 44102
代理人 陈伟斌
(51)Int.Cl.
B25J 9/16(2006.01)
(54)发明名称
一种基于视觉的机械臂自主抓取方法
(57)摘要
本发明涉及机器人技术领域，更具体地，涉
及一种基于视觉的机械臂自主抓取方法。

提出了
基于对抗抓取规则的纠正抓取策略，利用该策略
可以实现在仿真平台进行试错抓取得到符合该
规则的抓取样本。

利用该方法采集的样本清晰的
表达了对抗抓取规则的抓取模式，有利于模型的
学习。

整个数据采集过程无需人工干预，也无需
任何真实数据，避免了真实数据采集可能带来的
问题。

只需要少量该方法采集的仿真数据，训练
后的模型可以直接应用到不同的真实的抓取场
景中。

整个训练过程无需域自适应和域随机化操
作，
且准确率和鲁棒性高。

权利要求书3页 说明书7页 附图2页CN 110238840 A 2019.09.17
C N 110238840
A
1.一种基于视觉的机械臂自主抓取方法，其特征在于，包括以下步骤：
S1.在仿真环境中，搭建一个类似于现实场景的环境，并采集全局图像；
S2.对数据进行处理，预处理后的数据包括：包含整个工作空间信息的全局图像、物体掩膜以及与全局图像相同尺度的标签图；处理过程包括：首先根据图像中物体所在像素的位置集合生成物体掩膜，再根据物体掩膜、抓取像素位置和抓取标签生成标签掩膜，以及用抓取位置和抓取标签生成标签图；然后根据抓取问题定义，对抓取角度进行离散化；
S3.训练深度神经网络：
(1)将输入RGB图进行归一化，然后合成一个批；
(2)将该批数据传入全卷积神经网络，得到输出值；
(3)根据结合标签掩膜的交叉熵误差，计算预测值与标签的误差，通过如下损失函数计
算：
其中Y为标签图，M为标签掩膜，表示最后一层卷积层的输出特征图；S4.将训练好的模型应用到真实抓取环境中。

2.根据权利要求1所述的一种基于视觉的机械臂自主抓取方法，其特征在于，所述的S1步骤具体包括：
S11.在仿真环境的工作空间放置一个背景纹理、带夹持器的机械臂、摄像头和待抓取物体；
S12.将物体放置在工作空间中，利用摄像头选择一个存在物体的位置，记录图像信息、抓取点对应的像素位置、图像中物体的掩膜和抓取角度，然后随机选择一个角度让机械臂进行试错抓取；
S13.判断是否抓取成功，如果抓取失败，则直接保存图像信息I、图像中物体所在像素的位置集合C、抓取点对应的像素位置p、抓取角度ψ以及抓取失败的标签l；若抓取成功，则重新记录全局图像I ′以及对应的图像中物体所在像素的位置集合C ′，然后将图像信息I ′、图像中物体所在像素的位置集合C ′、抓取点对应的像素位置p、抓取角度ψ以及抓取成功的标签l保存下来。

3.根据权利要求2所述的一种基于视觉的机械臂自主抓取方法，其特征在于，所述的抓取问题定义包括：定义垂直平面抓取为g＝(p，ω，η)，其中p＝(x，y，z)表示笛卡尔坐标下抓取点的位置，ω∈[0，2π)表示终端的旋转角度，
是一个3维的一位有效编码，用来表示抓取功能；抓取功能共分为可抓取、不可抓取和背景三种；当投影到图像空间中，抓取在
图像I可以表示为
其中表示图像中的抓取位置，表示离散抓取角度；图像中的每一个像素都可以定义抓取功能，所以整个抓取功能图可以表示为：
其中为给定第i个角度下图像的抓取功能图；该图中3个通道分别表示可抓取、不可抓取和背景三种类别；从每个抓取功能图
C i 中抽出第一个通道
并结合在一起组成4.根据权利要求3所述的一种基于视觉的机械臂自主抓取方法，其特征在于，最鲁棒的
权　利　要　求　书1/3页2CN 110238840 A。