第5 期
王露露等： 基于 SURF 的目标跟踪算法
517Biblioteka 现目标的跟踪。其基本思路如下： 1 ） 对于 n 帧视频图像 I1 ， …， In ， 在第一帧 I1 图 像上， 运动目标位置所在区域为椭圆 e1 ， 采用 SURF 提取特征点得到初始特征点集合 A。 2 ） 对于下一帧 I i （ i ≥2 ） ， 在椭圆 e i － 1 区域内和 周围同样进行 SURF 特征提取， 得到特征点集合 B 。 3 ） 将得到特征集合 A 与 B 进行最近邻匹配， 然 后结合 RANSANC 和最小二乘法来去除误匹配， 得 到最终匹配。 4 ） 根据最新匹配更新目标位置 e i ， 同时更新特 A 。 征点集合 以上算法虽然能够快速准确地跟踪目标的运 动， 但是当目标发生遮挡时将会失效。 这是因为目 标被遮挡时， 更新机制会将出现在目标区域内的属 添加到特征集合 A 中， 从而导致 于背景的特征点， 运动目标的跟踪失败。 为了解决目标运动过程中发生的短时间遮挡 问题， 提出下面一种方法， 即同目标特征点集一样， 文中同样将背景特征点集也参与特征匹配中去， 同 时在处理完每一帧后也进行更新。 因此， 当跟踪的 目标发生遮挡时， 目标区域内检测到的特征点将会
第 11 卷第 5 期 2012 年 10 月
江 南 大 学 学 报（ 自 然 科 学 版） Journal of Jiangnan University（ Natural Science Edition）
Vol． 11 Oct．
No． 5 2012
基于 SURF 的目标跟踪算法
王露露， 张
* 洪 ， 高忠国
516
江 南 大 学 学 报 （ 自 然 科 学 版）
第 11 卷
放， 同时发生颜色变化时， 仍能实现稳定的跟踪。 由于 SURF 特征提取算法是当前特征点匹配领 具有较高的匹配能力， 并且当图像发生 域的热点， 平移、 旋转、 光照变换等情况， 都具有较高的匹配精 度和鲁棒性。为此， 文中提出一种基于 SURF 算子 的目标跟踪算法， 与 SIFT 算法相比， 同样具有尺度 但 是 速 度 明 显 加 快。 同 时 针 对 目 标 跟 不变 性， ［78 ］ 踪 中遇到的短时间遮挡问题， 文中提出一个遮 挡检测机制， 就是对于运动目标区域内的背景也进 行检测， 当目标检测区域内的背景特征点面积的总 就可以断 和与目标区域的面积比超过了一个阈值， 。 定目标被遮挡了
［5 ］ 标跟踪识别算法 SURFTrack ， 并实验证明其在户
、 HessianLaplace、 强角点检测等。 它们的
外进行移动电话跟踪的良好性能； 李英等研究了结 合 SURF 与聚类分析方法实现运动目标的快速跟 踪
［6 ］
优点是对图像的旋转、 平移、 光照变化具有很强的
收稿日期： 2012 － 05 － 02 ； 修订日期： 2012 － 06 － 04 。
L xy （ x， σ） L yy （ x， σ）
^ ^
]
式中： L xx 是高斯函数 g（ σ） =
2
1 － （ x2 + y2 ） / 2 σ2 e 2 πσ2
^ y ） 在点 x = （ x， y） 的二阶导数 2 g（ σ） 同图像 I （ x， x L yy 含义类似。 处的卷积结果； L xy ， Bay 等人［9-10］提出用箱式滤波来近似代替二阶 用积分图像来加速卷积以提高计算速 高斯滤波， 。 SURF 度 为使 特征具有尺度不变性， 需要构造尺 度空间， 在各个尺度空间下通过 Hessian 矩阵行列 式得到局部极值点。 SURF 对尺度空间的构造是保 持图像大小不变， 用不同大小的箱式滤波器同图像 进行卷积得到的。 箱式滤波同图像卷积后的值分 D xy ， D yy ， xy 方向， y 方向。 别为 D xx ， 分别表示 x 方向， 由于箱式滤波是二阶高斯滤波的近似估计， 因此引 入比例因子 ω（ ω 近似取 0． 9 ） ，进一步得到 Hessian 矩阵的行列式： det（ H） = D xx D yy － （ 0 ． 9 D xy ）
， 实验证明当目标发生大角度旋转和快 速 缩
基金项目：教育部自主科研计划项目 （ JUSRP211A17 ） 。 作者简介：王露露（ 1987 —） ， 男， 江苏宿迁人， 机械电子专业硕士研究生 。 * 通信作者：张 洪（ 1966 —） ， 男， 江苏无锡人， 副教授， 硕士生导师。主要从事机器人控制、 机电一体化研究。 Email： 1105399774@ qq． com
［3 ］
提出的 SIFT 算法是一种
具有尺度不变性的特征点检测方法。 它 鲁棒性好、 的缺点 是 算 法 的 时 间 复 杂 度 高， 计 算 数 据 量 大。 ZHOU Huiyu 等人研究了基于 SIFT 特征和均值漂 提出了一种优化的相似性搜索函数 移的目标跟踪， 对复杂背景下的目标跟踪有较好的效果。 Ta D N 等人研究了一种使用局部特征描述的连续快速目
时， 才将此局部极值点作为候选特征点。 然后去除 低对比度的点和边缘点， 最后通过插值得到亚像素 级的特征点的位置和尺度。 1． 2 特征点主方向的确定 为保持特征点的旋转不变性， 在特征点位置确 需要给每个特征点确定一个主方向。 首先 定以后， 以特征点为中心， 计算半径为 6 s（ s 为特征点所在的 y 方向上的 Haar 小波 尺度值） 的邻域内的点在 x， （ Haar 小波边长取 4 s） 响应， 并同时给这些响应值赋 于相应的高斯权重系数 （ 靠近特征点的响 应 贡 献 大， 远离特征点的响应贡献小 ） ， 这样可以减少特征 用 π /3 大小的扇形区域范围遍 点的误匹配。然后， 历整个圆形区域， 得到特征点的主方向 （ 域内水平 方向响应和垂直方向响应的矢量和模的最大值的 通过逐一计算所有的特征点， 就可得 方向） 。这样， 到所有特征点的方向。 1． 3 描述子的生成 以特征点为中心， 选取一边垂直于主方向、 边 长为 20 s 的正方向区域。 将窗口区域划分为 4 × 4 的子区域， 在每一个子区域内， 计算 5 s × 5 s （ 采样步 长取 s） 范围内的小波响应。相对于主方向的水平、 dy ， 垂直方向的 Haar 小波分别记作 d x ， 同样赋予响 以增加对几何变换的鲁棒性。 然 应值以权值系数， 后将每个子区域的响应值和响应值的绝对值相加 形成∑d x ， ∑d y ， ∑ dx ， ∑ d y 。 这样， 在每个子 ∑ dy ， 区域中 形 成 了 四 维 分 量 的 矢 量 V = （ ∑ d x ， ∑ dx ， ∑ dy ） ， 因此， 对于每个特征点， 则形成 4 × （ 4 × 4 ） = 64 维的描述向量。为了使描述符对于 光照具有高的鲁棒性， 要对向量进行归一化处理， 最终得到 SURF 描述符。 1． 4 特征匹配 S2 分别为两帧 文中采用最近邻匹配法， 设 S1 ， i2 ， 图像 i1 ， 用 SURF 方法提取得到的特征点集合， 对 S1 中的任一特征点 n ij ， S2 中与 n1j 的欧氏距离最小 n2j ， 和次最小的两个特征点分别为 n1j ， 对应距离分 d2 。若 d1 ≤αd2 （ 文中 α = 0 ． 65 ） ， 别为 d1 ， 则认为 n1j 与 n2j 为对应的匹配对， 遍历 S1 中所有的特征点， 找 出所有潜在的匹配对。然后结合 RANSANC 和最小 二乘法来去除误匹配， 得到最终匹配。 1． 5 基于 SURF 的目标跟踪与遮挡处理 SURF 跟踪算法中， 目标是通过一个 SURF 特征 点集来进行描述的， 这样一种描述方式的优点在于 它能够允许目标的不同部分进行不同的运动， 同时 SURF 的计算量较小， 因此能够更加灵活、 快速地实
运动目标识别与跟踪
［ 12 ］
在机器视觉中一直都
适应性， 但是对于尺度变化鲁棒性较差， 可能会导 致匹配失败。Lowe 等人
［4 ］
是研究的热点问题之一。目标匹配跟踪问题在近年 来得到了很大发展， 目前广泛应用的图像匹配算法分 为以下两大类： 一类是基于灰度相关的匹配方法， 就 是直接利用图像的灰度进行匹配； 另一类是基于特 征的匹配方法， 它是通过提取的图像特征进行匹配， 优点是具有较强的抗干扰性， 同时计算量较小。 基于特征的匹配方法需要先提取图像特征， 如 提取特征点、 边缘、 区域和轮廓等， 然后再匹配图像 特征。常用的特征点检测方法如 Harris 角点检测、 SUSAN
（ 江南大学 机械工程学院， 江苏 无锡 214122 ） 要：为了改善运动目标在跟踪中的实时性问题 ， 提出了一种基于 SURF 算子的目标跟踪算法。 通过对 SURF 特征点集进行描述快速确定目标位置 ， 实验表明该方法是一种简洁有效的目标跟踪 摘 提出了一种目标遮挡检测机制， 为目标 识别方法。同时针对目标运动过程中短时间的遮挡问题 ， 遮挡的处理提供了一种途径。 关键词： 目标跟踪； 遮挡； 目标识别； 特征匹配 中图分类号：TP 242． 6 文献标识码： A 文章编号：1671 － 7147 （ 2012 ） 05 － 0515 － 04
2
通过 Hessian 矩阵的行列式得到各个尺度空间 下的局部极值点后， 每个局部极值点及同一尺度的 8 个相邻点以及它上下两个尺度的各 9 个点， 形成 一个 3 × 3 × 3 的立体邻域。 将尺度空间的每个极 值点与立体邻域相邻的 26 个点进行比较， 只有当 局部极值点的值大于 （ 或小于 ） 所有 26 个相邻点
Research of Object Tracking Algorithm Based on SURF
WANG Lulu， ZHANG Hong * ， GAO Zhongguo
（ School of Mechanical Engineering， Jiangnan University， Wuxi 214122 ， China） Abstract： In order to improve the realtime object track， a new object tracking algorithm based on SURF operator was proposed． Through the description of SURF feature point sets，the target position was quickly determined． The experimental results show that the method is a kind of concise and effective target tracking recognition． At the same time，aiming at the short time occlusion issues，a kind of object shelter detection system is put forward，which provides a kind of way to deal with occlusion． Key words： object tracking， occlusion， object recognition， feature matching