另一面，机器人对物体抓取操作是其自主作业当中经常面临的一个问题， 目前传统工业机器人定式的操作方式，限制了机器人抓取的自主性。
机器人视觉伺服定位控制和目标抓取
机器人抓取操作
一 机器人抓取 VS 人的抓取
➢ 人抓取的特性：灵活自主
对人而言，手不仅能够根据不同形状和不同尺寸的物体采取不同的抓 取姿态(如图所示)，而且人手抓取过程中，手的位置和方向能根据环境不 断地自主调整 。这反映出人抓取过程的自主性与协调性。
机器人视觉伺服定位控制和目标抓取
机器人视觉伺服定位控制与目标抓取
机器人视觉伺服定位控制和目标抓取
2017.5
内容
➢ 机器人抓取及其研究现状 ➢ 机器人抓取位姿判别 ➢ 基于视觉伺服的机器人定位控制 ➢ 机器人视觉反馈控制在工业上的应用 ➢总 结
机器人视觉伺服定位控制和目标抓取
一 机器人抓取 VS 人的抓取
➢ 机器人抓取面临着挑战
目前深度学习已经成功用 于图像检索，语音识别，自然语 言处理等领域，而该算法在机器 人视觉领域的应用还处在刚刚起 步阶段。
机器人视觉伺服定位控制和目标抓取
深度学习网络
深度学习简介（插入）
n神经-➢中枢人-大脑脑的视工觉作过机程理，或许是一个不断迭代、不断抽象的过程。
n人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形 状或者目标的部分等，再到更高层，整个目标、目标的行为等。
然而，对于机器人，则是不同，因为目前绝大多数机器人的操作行为 是在定式（标定）工作环境中进行的。改变传统定式的工作方式，攻克机 器人灵巧自主抓取问题是当今机器人研究领域的一个难点和热点。
一般来说，抓取需要解决机的器人视两觉伺个服定位基控制本和目问标抓取题：抓哪里，Where？怎 么去抓，How？
二 机器人抓取研究现状
机器人视觉伺服定位控制和目标抓取
人机交互抓取
二 机器人抓取研究现状
综上抓取方法可知：
1) 解析建模抓取法需要对目标进行2D/3D建模，在复杂环境下建模精度难 以保证。
2) 经验学习抓取法通过学习或模仿人的抓取，在一定程度上克服了解析抓 取法建模的固有缺陷。但是，现有学习算法在稀疏样本学习中，算法的 学习能力有限，机器人缺乏对新物体抓取的能力。
r 解析抓取法
解析法使用动力学评价准则(如: force-closure)来估算抓取的稳定性，然 后寻求合适抓取方案，使得这个评价准则达到最优。该方法属于传统的抓 取方法，在2000年前占主导地位。
手模型
动力学 接触点
目标模型
力闭合
抓取准则
抓取生成
预选抓
抓取
取点 最优抓取判定 矢量
执行
机器人系统 结果
评价系统
任务约束
该方法的前提要求：1）精确的机机器人械视觉手伺服动定位力控制学和目模标抓型取 、目标物理模型； 2）机械手相对与目标物的位势信息。
二 机器人抓取研究现状
r 经验学习抓取法
首先通过观察学习人的抓取，根据任务约束、然后学习系统产生一种 最佳的抓取模式，该方法的核心思想是基于模仿与学习理论 。
3) 基于解析法和经验法的机器人抓取过程中，手臂的协调与定位都是需要 预先标定，而后求取机器人的逆动力学进行控制的。标定除了带来复杂 的计算外，同时也限制了机器人应用的拓广。
机器人视觉伺服定位控制和目标抓取
三 基于多模特征深度学习的机器人抓取判别
➢ 深度学习
2006年多伦多大学Hinton等人 在Science杂志上提出，该学习算 法避免了特征抽取过程中了人为 的干预，同时深度学习解决了传 统多层神经网络学习过程局部收 敛和过适学习算法的研究。
机器人视觉伺服定位控制和目标抓取
深度学习简介（插入）
➢ 关于特征
【通过传感器（例如CMOS）获得数据，然后经过预处理、特征提取、特征选择，再到推理、预测或者识别。】
机器人视觉伺服定位控制和目标抓取
深度学习简介（插入）
n学习➢算特法在征一表个什示么的粒度粒上度的特征表示，才有能发挥作用？
n素级特征 结构性
实例1 3D几何匹配抓取 实例2 3D位势估计抓取 机器人视觉伺服定位控制和目标抓取
1、一种基于局部随机采 样一致性鲁棒几何描述的 3D匹配与位势估计抓取 方法，该方法在噪声、遮 挡环境测试中取得良好抓 取效果。
2、综合双目和单目视觉 信息、以及物体表面与几 何模型实现深度提取、目 标区域分割，以及位势估 计，该抓取系统在遮挡、 光照变化的室内环境中实 现了机器人抓取操作
缺点：依赖于物体的3D 信息，3D计算复杂。
二 机器人抓取研究现状
r 抓取类型二：2D位置学习抓取
直接从2D图像平面学习获取抓取位置，该方法首先采用人工标记抓取点 的合成图像，提取分类图像特征向量，应用机器学习方法来训练抓点。
机器人单抓取点学习
机Hale Waihona Puke 人多抓取点学习该方法实施步骤：给定视觉场景 学习模型得出抓取点 机器人视觉伺服定位控制和目标抓取 机器人动力学运动规划。
计算抓取参数
二 机器人抓取研究现状
r 抓取类型三：高级人工智能学习抓取
模仿抓取：通过观察人抓取目标的姿态，识别出人的抓取方式， 进而映射到机器人抓取系统中。
机器人模仿抓取
交互抓取：把人的操作嵌入到 机器人的控制循环中，对机器 人进行交互训练，使得机器人 自动产生抓取动作，最终把人 的抓取技能传授给机器人 。
抓取学习/ 人工示范
特征
抓取模式 数据库
目标分割 特征
抓取生成 与判定
抓取
执行
矢量 机器人系统 结果
评价系统
场景/ 约束条件
该方法的前提要求：1）完整的机目器人标视觉几伺服何定位模控制型和目（标抓2取/3D）信息； 2）机器人视觉系统严格标定，已知机械臂动力学模型。
二 机器人抓取研究现状
r 抓取类型一：3D目标抓取
随着机器人技术的发展，机器人越来越多的融入到人的生活和工作环境中， 代替人类完成各种作业，这必然要求机器人承担对比工业生产更加复杂的操 作务，比如机器人端茶倒水，递送物品，自动拣握工具等等。智机器人代表 了机器人发展的尖端技术，在日常生活、医疗、航天等领域具有广泛的用。
一方面，我们希望机器人具备一定自主性学习和自协调能力，且能够通过 学习掌握在新环境下操作的技能。