附录1：外文翻译摘要本文介绍了机器人视觉伺服控制的入门教程，由于该课题涉及许多学科，我们的目标仅限于提供一个基本的概念框架工作。

首先，我们从机器人学和计算机视觉的前提条件，包括坐标变换，速度表示，以及图像形成过程的几何方面的描述进行简要回顾。

然后，我们提出了视觉伺服控制系统的分类。

然后详细讨论了基于位置和基于图像的系统的两大类。

由于任何视觉伺服系统必须能够跟踪图像序列中的图像特征，所以我们还包括基于特征和基于相关性的跟踪方法的概述。

我们结束了教程与一些服务的当前方向的研究领域的视觉伺服控制当今绝大多数增长的机器人人口都在工厂里工作，在那里工厂可以制造出适合机器人的环境。

在工作环境和物体放置不能精确控制的应用中，机器人的影响要小得多。

这种局限性很大程度上是由于现代商业机器人系统固有的感觉能力不足。

人们早已认识到，传感器集成是提高机器人的通用性和应用领域的基础，但迄今为止，这还没有证明在制造业中大量的机器人应用是有效的。

机器人在日常生活中的“前沿”为这项研究提供了新的动力。

与制造业的应用不同，重新设计“我们的世界”并不适合于机器人。

视觉是一种有用的机器人传感器，因为它模仿人类的视觉，并允许对环境进行非接触测量。

自从Shirai 和伊努埃（1）的早，期工作（谁描述了如何使用视觉反馈回路来校正机器人的位置以提高任务精度）大量的EORT 一直致力于机器人的视觉控制。

机器人控制器完全集成的视觉系统现在可以从多个供应商获得。

通常，视觉感知和操作以开环的方式组合，“看”然后“移动”。

所得到的操作的精度直接取决于视觉传感器和机器人末端Ecter 的精度。

增加这些子系统的精度的一个替代方法是使用视觉反馈控制回路，这将增加系统的整体精度，这是大多数应用中的一个主要问题。

极端地，机器视觉可以为机器人端部控制器提供闭环位置控制。

这被称为视觉伺服。

这个词似乎已经被RHT 和Park（2）在1979 中介绍了，以区别他们的方法与先前的“块世界”实验，其中系统在拍照和移动之间交替。

在引入这个术语之前，一般使用较少的视觉术语视觉反馈。

为了这篇文章的目的，视觉伺服中的任务是使用视觉信息来控制机器人的末端ECT 相对于目标对象或一组目标特征的姿态。

该任务也可用于移动机器人，其中，它成为控制车辆的姿态相对于一些地标。

视觉伺服是融合许多领域的结果，包括高速图像处理、运动学、动力学、控制理论和实时计算。

它与主动视觉和运动结构的研究有很多共同点，但与在分层任务级机器人控制系统中经常使用的视觉非常不同。

许多控制和视觉问题类似于那些正在建造“机器人头”的主动视觉研究者所反对的。

然而，视觉伺服中的任务是控制机器人利用视觉来操纵环境，而不是仅仅观察环境。

本课程的教程介绍。

我们的目标是帮助其他人通过提供一致的术语和术语来创建视觉伺服系统，并欣赏可能的应用。

为了帮助新手到领域，我们将描述的技术，只需要简单的视觉硬件（只是数字化仪），自由可用的Visio 假设关于机器人及其控制系统。

这是对许多不需要高控制和/或视觉性能的应用程序的开始调查。

在这样一篇文章中的一个难点是该主题跨越许多不能在单个文章中得到充分解决的学科。

例如，底层控制问题从根本上来说是非线性的，视觉识别、跟踪和重构本身就是ELD。

因此，我们专注于每个学科的某些基本方面，并提供了广泛的书目，以帮助读者寻求更详细的比这里可以提供。

我们的偏好总是呈现那些我们已经发现在实践中很好地发挥作用并且具有某种通用适用性的想法和技术。

另一个DICTY 是基于视觉的运动控制文献的当前快速增长，它包含许多涉及的理论和技术问题的解决方案和有前途的方法。

我们再一次拥有提出了我们认为是最基本的概念，并再次参考读者的书目。

本文的其余部分结构如下。

第2 节回顾了坐标变形、姿态表示和图像形成的。

在相关基础。

在第3 节中，我们提出了视觉伺服控制系统的分类（改编自[ 5 ]）第4 和第5 节中分别讨论了基于位置视觉伺服系统和基于图像的视觉伺服系统的两大类。

由于任何视觉伺服系统必须能够跟踪图像序列中的图像特征，所以第6 节描述了视觉跟踪的一些方法，这些方法具有广泛的适用性，并且可以使用最少的专用硬件来实现。

最后，第7 节给出了关于视觉伺服控制研究领域的当前方向的大量观测结果。

2 背景在本节中，我们提供了一些与机器人视觉伺服控制相关的机器人和计算机视觉的简要概述。

我们首先从术语和符号来表示坐标变换和通过工作空间移动的刚性物体的速度（第2.1 和2.2 节）。

在此之后，我们讨论了与图像形成有关的几个，以及可能的相机/机器人拥塞（第2.5 节）。

熟悉这些主问题（第2.3 和2.4 节）题的读者可能希望直接进行第 3 节。

3文以机器人的任务空间为例，以T 为代表的机器人的任务空间，是机器人所能达到的一组位置和方位。

由于任务空间仅仅是RooTooTo 工具的配置空间，任务。

如果工具是在三维工作空间中任意移动的空间是平滑的M 流形（见，例如，6）单个刚体，则t= SE＝R S O，并且M- 6，任务空间可以被限制为SE 的子空间。

例如，，而对于跟踪对象并保持它对于拾取和放置，我们可以考虑纯平移（t= r，对于m -3），通常，相对于一个或多个坐标帧在视图中，我们可能只考虑旋转（t＝SO，M＝3）指定机器人任务。

例如，摄像机可以提供关于摄像机相对于摄像机的位置的信息，而用于抓取物体的配置可以相对于附着在物体上的坐标框架来指定。

我们用非P. Given 两帧表示点P 相对于坐标系A 的坐标。

A 和U 表示帧Y 相对于帧A 的方向的旋转矩阵表示为＝R，。

帧Y的原点相对于帧的位置由向量T表示。

位置和方向框架一起指定一个姿势，我们用一个“X”表示。

如果主标上标R 不是指定的，则世界坐标系被保证，我们也可以使用姿态来指定坐标变换。

我们使用函数表示一个点的坐标变化。

特别地，如果我们给出p（坐标p 相对于框架y）的坐标，和x，则通过应用坐标变换规则得到p 与坐标 A 的坐标。

续集中，我们将使用符号-X 来表示坐标变换或TOA 姿态，它们分别由旋转矩阵和平移、R 和T 指定。

同样，我们将使用术语姿势和协调TMNSechange 互换。

一般来说，在“X”的两种解释之间不存在歧义，通常，我们必须组成多个坐标变换以获得期望的坐标变化。

例如，假设我们给出姿势X，ANX，。

如果我们给出p，并且希望计算＝p，我们可以使用坐标变换的组成。

如图所示，我们表示坐标变换的组成，并用对点p 进行相应的坐标变换。

对应矩阵和平移由需要经常使用的一些坐标框架由下列上标/下标引用e 附着在机器人末端执行器上的坐标系T 坐标系附于目标0 机器人的底架摄像机的坐标系SE，我们将使用符号x.e t 来表示端效坐标系相对于世界框架的姿态。

在这种情况下，我们通常喜欢使用平移向量和三个角度（例如，滚动、俯仰和偏航7）来参数化APOSE。

虽然SUCH 参数化本质上是局部的，但是通常用向量R E 来表示姿态，而不是由X。

E 表示。

例如，当t= r 时，我们将通过r＝x，y，21 来参数化任务空间。

在续篇中，如果我们考虑一个特定的任务，我们将假设RE。

通过注意交叉乘积可以用斜对称矩阵表示，这可以用矩阵形式简洁地写出2。

摄像机保护模型利用计算机视觉系统提供的信息来控制机器人是必要的，要了解HE 成像过程的几何方面，每个摄像机都包含一个透镜，该透镜在传感器所在的图像平面上形成并保护场景。

这种保护导致直接信息丢失，使得图像平面上的每个点对应于射线。

在三维空间中。

因此，需要一些附加信息来确定对应于图像平面点的3D 坐标。

该信息可以来自多个摄像机、多个摄像机和多个目标点上的几何关系之间的几何关系。

在这一部分中，我们描述了三种已经被广泛用于建模图像形成过程的投影模型：透视投影、比例正交投影和仿射投影。

虽然我们简要地描述了这些投影模型中的每一个，但在本教程的其余部分中，我们将假定使用透视投影。

对于三个投影模型中的每一个，我们分配相机坐标系，其中A 轴和Y 轴形成图像平面的基础，即轴。

垂直于图，并且原点位于图像平面后面的距离A 处，其中A 是相机镜头像平面（沿着光轴）的焦距。

如图1 所示。

在文献中，图像特征是任何结构特征，而不是提取图像（E.GeeGe－Cern），图像特征将对应于某物体（例如，机器人工具）的物理特征投影到摄像机图像平面上的良好特征点是一个。

可以在场景的不同视图中明确地定位，例如垫圈10中的孔或设计图案11, 12。

我们将图像特征参数定义为可以从一个或多个图像特征中计算出来的任何实值量，用于视觉伺服控制的一些特征参数包括图像11, 14,15、16, 17, 18、19 中的点的图像平面坐标，距离为在图像平面中的两点和连接两个点10, 20 的线的方向，投影表面的感知边缘长度21a 和两个投影表面的相对面积21，投影表面的质心和阶次矩。

Ne 11，以及图像平面11 中的椭圆的参数。

在本课题中，我们将限的点特征，其参数是它们的图像平面坐标。

可以使用摄像机的投影几何来计算从末端执行器的位置和方向到相应的图像特征参数的映射。

我们将用 F 来对他的映射进行降噪，其中例如，如果是U，Y 图像平面坐标的空间，用于投影到图像平面上，（19）的精确形式那么，假设透视投影，其中u和u be 由（16）给出。

将部分取决于下一节中讨论的T HM 相机和端部执行器的相对配置。

2.5 相机配置视觉伺服系统通常使用两种相机配置中的一种：末端执行器安装或固定工作空间。

第一种，通常称为手眼配置，摄像机安装在机器人末端执行器上。

在这里，存在一个已知。

我们通过ARGET 的的，往往是恒定的关系之间的相机的姿势（砂的姿势的末端执行器）姿势来表示这种关系：相对于相机框架用X 表示。

这些姿态之间的关系如图2 中所示，第二种配置有固定在工作空间中的摄像机。

在这种情况下，摄像机（X）与X 的机器人的基本坐标系相关，而X 则与目标有关。

当然，在。

一该摄像机中，目标的摄像机图像与机器人运动无关（除非目标ISED 执行器本身）种变体是为了使相机灵活，安装在另一个机器人平移/倾斜头上，以便从最佳摄像机25 观察视觉控制的机器人，以供选择摄像机配置，在执行视觉伺服任务之前，必须按顺序执行摄像机标定。

确定摄像机内部参数如焦距必须建立坐标系，并将其封装在外部参数确定CAMELL 校准过程中。

对于手眼的情况，必须考虑相对姿势X，这就是手/EVE 校准问题。

校准是计算机视觉界的一个长期的研究（在许多参考文献中可以找到校准问题的良好解决方案，例如。

（, 27, 28）因此，由此产生的分类学有四大类，我们现在来描述。

这些基本结构在图3至6 中示意性地示出，如果控制体系结构是分层的，并且使用视觉系统来提供关节点控制器的设置点输入，从而利用联合反馈来将机器人稳定在内部称为动态观察A。