２００９年５月 第５期（总第ｌ ２６期）
广西轻工业
ＧｕＡＮＧｘＩ ＪｏｕＲＮＡＬ ｏＦ ＬＩＧＨＴ ＤｕｓＴＲＹ 计算机与信息技术
双目立体视觉系统的立体匹配 吴媛 ，周德俭１＇。，代宣军 （１．桂林工学院，广西桂林５４１００４；２．河南机电高等专科学校，河南新乡４５３００２；３．广西工学院，广西柳州 ５４５００６） 【摘 要】 双目立体视觉是计算机视觉的一个分支，立体匹配是立体视觉中的关键问题，是三维重建中的核心问题。以双 目立体视觉原理为基础，采用一种改进的ｓｕｓＡＮ角点特征检测方法，结合基于灰度相关及极线几何约束的双向匹配及优化。实现 了一个鲁棒的匹配算法的应用。通过对真实图像的实验表明，该立体匹配算法效果良好。具有较好的实用性。 【关键词】立体匹配；双目立体视觉；极线几何；基本矩阵；角点检测 【中图分类号】ＴＰ３９１．４１ 【文献标识码】Ａ 【文章编号】 １００３—２６７３（２ｏｏ９）０５—６７—０２
１ 引言 客观世界是一个三维的空间世界。用各种观测系统以不同 的形式和手段观测客观世界而得来的图像是二维平面的，尽管 其中包含有三维物体的空间信息。人的视觉系统具有将获取的 图像信息转换为立体视图的功能。立体视觉正是根据此原理， 探求从二维图像中恢复三维空间信息的方法，达到从图像认识 世界的目的。而双目立体视觉是由两幅图像获取物体三维几何 信息的方法。其基本原理是从两个视点观察同一景物，以获取 在不同视角下的感知图像，通过三角测量原理计算图像像素间 的位置偏差（即视差）来获取景物的三维信息。图像特征点的提 取以及特征点的立体匹配是计算机视觉领域的一个基本问题， 也是立体视觉中最重要，最困难的部分。 解决对应点匹配的方法有两种：基于特征的匹配方法和基 于区域的匹配方法［１】。基于点特征的图像匹配方法对灰度变化 有较强适应能力，能够处理图像间存在的较大未对准情况，且 计算量小，因此，它在计算机视觉、目标识别、医学图像处理、遥 感等领域的应用越来越广泛。特征点的选择是基于点特征匹配 算法的一个关键步骤，特征点选择的成功与否对于下一步的匹 配有着至关重要的影响。特征点匹配的算法流程如图１所示： ｒ———————］ ———————一＿——————一 ｆ特征点提取｝— ｆ对应点匹配 —＋ｆ点匹配优化ｆ
Ｌ———————一 ———————Ｊ ———————．Ｊ
图１特征点匹配算法流程 本文通过对图像特征点的提取及对应点匹配算法的研究， 采用一种改进的ｓｕｓＡＮ角点检测算法，对提取的角点结合基 于灰度相关及极线约束的双向匹配技术来优化的特征点匹配 算法。 ２特征点的提取 角点是图像上在两维空间内灰度和边缘方向变化剧烈并 且和周围的邻点有着明显差异的点，是图像立体匹配的一个很 好特征，是图像立体匹配算法中的关键点。角点的提取直接影 响立体匹配算法的准确性和稳定性。 Ｓｍｉｔｈ和Ｂｒａｄｙ提出的ＳＵＳＡＮ Ｓｍａｌ１ｅｓｔ Ｕｎｉｖａｌｕｅ Ｓｅｇ— ｍｅｎｔ Ａｓｓｉｍｉ１ａｔｉｎｇ Ｎｕｃｌｅｕ ｓ）算子，它是一种错误率低、定位精 确而且快速的算法；它提供的角点提取和边缘提取方法一样， 有很强的抗噪声能力，因此不需要进行去噪声处理（滤波）。 本文采用的特征点的提取算法是基于ｓｕｓＡＮ算子和角点 几何结构分析的思想，是一种改进的快速自适应阈值ｔ的角点 提取算法。 使用一个包含３７个像素的圆形模板，半径为３．４个像素， 如图２所示： 图２包括３７个像素的ＳＵＳＡＮ圆形模板 ２。１灰度差阈值ｔ的自适应选取 为提取出角点，需将模板内每个像素的灰度与模板中心的 灰度进行比较，首先计算模板内像素点与模板中心的灰度差阈 值，取灰度差值的平均值为迭代初始值Ｔ０： Ｔ。＝去 Ｉ（ｒ）一Ｉ（ｒ０） （１） ＪＵ 然后根据迭代初值Ｔ。将灰度差直方图分为两部分，由公 式（２）计算下一个迭代值Ｔｉ Ｉ ｝ ｍ＝Ｏ ∑ｈ（ｍ） Ｃ… ∑ｍ×ｈ（ｍ） （２） 公式（２）中ｍ为模板中像素点和中心像素点的灰度差值， ｈ（ｍ）为模板中具有该灰度差值的点的数量，ｃ～为灰度差值的
最大值。每进行一次迭代进行判断，若ｆＩ＋ 一Ｉ ｆ＝ｏ，则停止迭 代，取Ｔ．作为最后的ｓｕＳＡＮ模板的灰度差阈值。即在不同灰 度对比度下，得到最佳灰度差值ｔ。 ２．２对应点ＳＵＳＡＮ区域大小 根据计算得到的ｔ由公式（３）、公式（４）计算核点ｓｕＳＡＮ 区域的大小。 公式（３）为实际应用中常用的相似比较函数，比原ＳｕｓＡＮ 算法中的有更好的稳定性。
【作者简介】吴媛（１９７８一）．女，硕士研究生，讲师，研究方向：制造业信息化、自动化检测。 ６７
—一■ 鲁峨｜Ｉ枷■一 一■瑚一善一一 ■一■■■ ■■■ 葛＋ １‘ ｃ（；，； ）＝ｅ （３）
公式（３）中：ｒ和ｒ 分别是模板中心点和模板中其他点的坐 标，ｃ（；，； ）为比较的结果，ｌ（；）为该点的亮度值，ｔ为灰度差阈 值。理论与实践都证明当指数取６时错误的否定和错误的肯定 概率都最小。 ＵｓＡＮ区域的大小可以由公式（４）给出：
ｎ（ｒ０）＝∑ｃ（ｒ，ｒ０） （４） 和值ｎ为ｕｓＡＮ区域的像素值个数，即ｕｓＡＮ区域的面积。 ２．３角点响应 由公式（５）得到图像的初始角响应。
Ｒ㈩＝仨 ｇ ㈩
公式（５）中ｇ为几何阈值，它决定了提取的角点的尖锐程 度，ｇ越小提取的角点越尖锐。在用ＳｕＳＡＮ算法进行边缘提取 的时候通常取ｇ＝３，４ｎ ，在进行角点提取的时候，通常取 ｇ＝ｌ，２ｎ 。一般而言，对于ｇ不需要通过调整就能取得较好的 效果。 最后搜索初始角点响应中的局部最大值，将其对应的像素 点标记为角点。
３特征点的灰度值相关双相匹配与极线约束优化 在初始匹配阶段，采用基于灰度相关的双向特征匹配方 法。相关方法假设左右立体图像对中对应点及其各自的邻域上 各点的灰度具有相似性。考虑到噪声的影响，以左图像为基准， 取左图像上一个像素点为中心，大小为（２ｍ＋１）×（２ｎ＋１）的相 关窗口，在右图像中选定一个与该点具有相同坐标为中心，大 小为（２ｄ ＋１）×（２ｄ，＋１）的矩形搜索区域，对左图像中的该角点 与右图像中落人搜索区域的全部角点在给定的窗口内完成一 个基于灰度的相关计算，用ｓ‘ｐ，ｐ。）表示这种灰度相似性。 预定义角点的图像坐标为ｐ＝［ｘ，ｙ］，ｐ。：【ｘ‘，ｙ’】，本文采用 归一化灰度相关系数方法来计算相似度。此时，灰度相关值为： Ｓ（ｐ，ｐ’）＝ ∑∑［Ｉ（ｘ＋ｉ，ｙ＋ｊ）—ｉ 】×【Ｉ・（ｘｔ＋ｉ，ｙｔ＋ｊ）— ｉ ｉ ］ 窆［Ｉ（ ＋ｊ．ｙ＋ｊ）一 ］ 主 （ Ｉ＋ｉ，ｙ－＋ｊ） 】 （６）
公式（６）中， 表示在点（ｘ，ｙ）处的灰度平均值，它的 表达式为：
＿＿ ｉ至ｉ圣Ｉ（ｘ ｙ＋ｊ）（７）
直接采用公式（６）计算，则该函数的计算量会因为窗口移 动过程中存在的很多重复计算而变得相当大，若是把公式（７）
及兀 ＝可 丽。 ＩＩ（ｘｌ＋ｊ ＋ｊ）代人到
公式（６）的分子进行整理简化后，得到公式（８）： Ｓ（ｐ．ｐ’）＝ ∑∑［Ｉ（ｘ＋ｉ．ｙ＋ｊ）．Ｉｔ（ｘｔ＋ｉ。ｙｔ＋ｊ）一（２ ＋１）（２ｎ＋１）ｉｒ Ｆ ；： 】 （８）
采用公式（８）可大大提高相关计算速度。 在实际的匹配过程中，若是计算出来的ｓ‘ｐ，ｐ。）满足阈值 的要求，说明该点是点ｐ的一个候选匹配点。用此方法可求出 左图像上所有已提取的角点在右图像上的候选匹配点；将相同 的原理应用于右图像上，求出右图像上所有已提取的角点在左 图像上的候选匹配点，若是还能找到相同的匹配点，则对应的 预匹配点视为匹配点，从而得到一个初始匹配集。
４极线约束优化 利用极线约束对匹配点进行优化。如图３所示：三维空间 点Ｐ在左、右摄像机成像平面上投影为一对相匹配的点ｐ和 ｐ’；两摄像机的光心ｃ和ｃ。的连线为基线，其与摄像机图像平 面的交点ｅ和ｅ’称为两图像平面的极点，它们分别为两个摄像 机中心ｃ和ｃ 在对应的摄像机成像平面上的投影坐标；Ｐ、Ｃ和 ｃ‘组成的三角平面称为极平面 。１ｒ和两个摄像机成像平面 的交线ｌ和ｌ’称为极线，一般称ｌ为点ｐ对应的极线，ｌ’为点ｐ’ 对应的极线，ｌ和ｌ‘互为对应极线。Ｒ为摄像机刚体运动时的旋 转矩阵，Ｔ为平移向量。根据极线约束性质，ｐ’一定位于ｐ相关 联的极线ｌ‘上，则１．与ｐ之间满足一个线性变换： １ ＝Ｆｐ （９）
图３对极几何 公式（９）中，Ｆ是一个秩为２的基本矩阵，因ｐ的匹配点ｐ’ 在极线ｌ’上，故有： ｐ’ ｐ＝Ｏ （１Ｏ） 对极几何关系是指从２个不同视点获得的来自同一场景 的２幅图像之间存在着一定的约束关系。是非定标情况下可以 从图像对中获得的唯一信息，它的准确求解是三维重建、运动 估计、摄像机自标定、匹配和跟踪的基础。对极几何关系在数学 上的表示是—个３阶的且秩为２的矩阵，称为基本矩阵。因此， 对极几何的求解问题就转化为对基本矩阵的估计问题。对极几 何的本质是，对于左图像上的点ｐ，若在右图像找它的对应点， 则该点必定位于点ｐ在右图像的极线上，但由于噪音等的影 响，正确的匹配也不一定会严格满足公式（１Ｏ）。但可以肯定的 是，若ｐ’，ｐ是一对正确的匹配点，那么在右图像中，点ｐ‘和对 应点ｐ的极线之间的距离一定非常小，若距离比较大的话，则 点ｐ 必然是ｐ的错误匹配点。此种情况时，可使用Ｌｍｅｄｓ来优 化，通过解非线性最小化问题来估计参数，对于全部数据的所 有可能的余差平方的中值求解，此方法给出的中值最小网，即： ｍｉｎ ｍｅｄ ｒ ｉ （１１） 公式（１１）中，ｒ 为匹配点对中各个点与对应极线距离的平 方和，其数学表达式为： ＝ｄ （ｐ’， ｐ ）＋ｄ。（ｐ。，Ｆ ｐ’ ） （１２） 公式（１２）中，ｄ表示的是点与对应极线的距离，即：
（下转第７０页）