u E (u , v) u , v M v
式中，Ix为x方向的差分，Iy为y方向的差分，w(x,y)为高斯函数
HARRIS检测：数学表达
窗口移动导致的图像变化：实对称矩阵M的特征值分析
u E (u, v) u, v M max, min M的特征值 v
E(u, v) w( x,பைடு நூலகம்y)[ I ( x u, y v) I ( x, y)]
x, y
w( x, y)[ I xu I y v O(u 2 , v 2 )]2
x, y
写成矩阵形式：
I x2 I x I y I x2 I x I y M w( x, y) w( x, y) 2 2 x, y Ix I y I y Ix I y I y
图1（a）
图1（b）
HARRIS检测：算法优化
(4) nlike (i , j) = 1 , 可以归结为图 2 中的两种情况 ( 图中白色区域 仅表示与中心像素不相似, 而两个白色区域像素可能是相似的 , 也 可能不相似 ) , 在这两种情况下 , 中心像素点也不可能为角点 。
图2（a）
图2（b）
将图像窗口平移[u,v]产生灰度变化E(u,v)
E(u, v) w( x, y)[ I ( x u, y v) I ( x, y)]
x, y
窗口函数
平移后的 图像灰度
图像灰度
窗口函数 w(x,y) =
或
1 in window, 0 outside
Gaussian
HARRIS检测：数学表达
HARRIS检测：数学表达
2 “Edge” R<0 “Corner”
R>0 • R 只与M的特征值有关
• 角点：R 为大数值正数
• 边缘：R为大数值负数 • 平坦区：R为小数值 “Flat” |R| small “Edge” R<0 1
HARRIS检测：算法优化
用 Harris 算法进行检测，有三点不足：（1 ）该算法 不具有尺度不变性；（2 ）该算法提取的角点是像素级的； （3 ）该算法检测时间不是很令人满意。 基于以上认识，主要针对第（3 ）点对Harris 角点检 测算法提出了改进。
基本概念及所需知识 ——特征点（角点）
(5) 准确性:得到的特征应该能够被精确定位,包括图像空间和尺 度空间上的精确定位。 (6) 高效性:检测和描述的时间越短越好,以便用于后续的实时应 用。 这 6 条性质中,最重要的是可重复性。 Moravec[44]于 1977年提出 Moravec 角点算法,是最早提出的角 点检测算法之一。该方法中,角点被定义为在各个方向(垂直、水 平、对角线)都存在剧烈灰度变化的点
HARRIS检测：算法优化
由于我选择3*3 的检测窗口，所以， 对于中心像素点 , 在下 面的讨论中只考虑其8 邻域内像素点的相似度。 计算该范围的像 素点与中心像素点的灰度值之差的绝对值 ( 记为 Δ ) , 如果该值小 于等于设定的阈值 ( 记为 t) , 则认为该像素点与目标像素点相似 。 nlike(i,j)=sum(R(i+x,j+y)) 从定义中可以看出 : 0 ≤ nlike ( i , j ) ≤ 8 。 现在讨论 nlike( i , j) 值 的含义 。 (1) nlike (i , j) = 8 , 表示当前中心像素点的 8 邻域范围内都是与 之相似的像素点 , 所以该像素点邻域范围内的梯度不会很大 , 因 此角点检测时 , 应该排除此类像素点，不将其作为角点的候选点。 (2) nlike (i , j) = 0 , 表示当前中心像素点的 8 邻域范围内没有与 之相似的像素点 , 所以该像素点为孤立像素点或者是噪声点 , 因 此角点检测时 , 也应该排除此类像素点 。
HARRIS角点的性质

对于图像灰度的仿射变化具有部分的不变性
只使用了图像导数 => 对于灰度平移变化不变 II+b 对于图像灰度的尺度变化: I a I
R
阈值
R
x (image coordinate)
x (image coordinate)
HARRIS角点的性质

随几何尺度变化，Harris角点检测的性 能下降
HARRIS检测：算法优化
(3) nlike (i , j) = 7 , 可以归结为以下的两者情况 , 其他情形都可以 通过旋转来得到 ( 图中黑色区域仅表示与中心像素相似 , 而两个黑 色区域像素可能是相似的 , 也可能不相似 ) 。 对于图 1 (a)中 , 可 能的角点应该是中心像素点的正上方的那个像素点 , 1(b) 图中可 能的角点应该是中心像素点右上方的那个像素点 , 故这种情况 下 , 中心像素点不应该作为角点的候选点 。
特征提取 —HARRIS算子
汇报人：张琳
目录
基本概 念及所 需知识
Harris 算子 程序设 计及实 验结果
基本概念及所需知识 ——图像变化的类型

几何变化
旋转
相似(旋转
+ 各向相同的尺度缩放)
仿射
(非各向相同的尺度缩放) 适用于: 物体局部为平面

灰度变化
仿射灰度变化
(I a I + b)
Repeatability rate:
# correspondences # possible correspondences
C.Schmid et.al. “Evaluation of Interest Point Detectors”. IJCV 2000
程序设计及实验结果
程序设计及实验结果
HARRIS检测：算法优化
Harris 角点检测是基于图像像素灰度值变化梯度的， 灰度值 图像的角点附近，是其像素灰度值变化非常大的区域，其梯度也 非常大。换句话说，在非角点位置邻域里，各点的像素值变化不 大，甚至几乎相等，其梯度相对也比较小。从这个角度着眼，提 出了图像区域像素的相似度的概念，它是指检测窗口中心点灰度 值与其周围n 邻域内其他像素点灰度值的相似程度，这种相似程 度是用其灰度值之差来描述的。如果邻域内点的灰度值与中心点 Image (i,j) 的灰度值之差的绝对值在一个阈值t范围内，那就认为 这个点与中心点是相似的。与此同时，属于该Image (i,j) 点的相 似点计数器nlike(i,j) 也随之加一。在 Image (i,j) 点的n 邻域 全部 被遍历一边之后，就能得到 在这个邻域范围内与中心点相似的 点个数的统计值nlike(i,j) 。根据nlike(i,j) 的大小，就可以判断这个 中心点是否可能为角点。

角点（corner points）：

局部窗口沿各方向移动，均产生明显变化的点 图像局部曲率突变的点 Harris角点检测 CSS角点检测

典型的角点检测算法：

基本概念及所需知识 ——特征点（角点）
一种好的局部特征应该具有以下性质: (1) 可重复性:同一个物体或场景在不同的条件下(如视角、尺度 发生变化),两幅图像中对应的特征越多越好。 (2) 独特性:特征的幅值模式需要呈现多样性,这样的特征才能被 区分和匹配 。 (3) 局部性:特征应该是局部的,从而减少被遮挡的可能性,并且允 许用简单的模型来近似两幅图像间的几何和成像变形。 (4) 数量性:一般来说,检测到的特征数目一定要多,但是在图像检 索中,特征太多,又会对检索的实时性造成一定影响。理想情况是 检测到的特征数量在一个比较大的范围内,然后可以通过一个简 单的预知就可以调整。而这个阈值的调整可以通过在检索系统 中的实验得以确定。
基本概念及所需知识 ——提取特征点的作用

图像的点特征是许多计算机视觉算法的基 础：使用特征点来代表图像的内容
运动目标跟踪 物体识别 图像配准 全景图像拼接 三维重建
基本概念及所需知识 ——特征点（角点）
特征点在许多文献中又被称为兴趣点(interest point)、角点(corner point),对特征点目前还没有统一的 定义,一般认为特征点产生于两条或多条相对直线交叉的区 域。不同的检测方法对特征点有不同的定义。
不同类型的角点
HARRIS角点检测基本思想

从图像局部的小窗口观察图像特征 角点定义 窗口向任意方向的移动都导致图像 灰度的明显变化
HARRIS角点检测基本思想
平坦区域： 任意方向移动， 无灰度变化
边缘： 沿着边缘方向移动， 无灰度变化
角点： 沿任意方向移动， 明显灰度变化
HARRIS检测：数学表达
快速变化的方向
E(u,v)的椭圆形式
(max)-1/2 (min)-1/2
缓慢变化的方向
HARRIS检测：数学表达
通过M的两个特征 值的大小对图像点 进行分类: 2 “Edge” 2 >> 1 “Corner” 1 和 2 都较大且数值 相当 1 ~ 2;
图像窗口在所有方向上移 动都产生明显灰度变化
(5) 2 ≤ nlike ( i , j) ≤ 6 , 情况比较复杂 , 无法确认像素点准确的性 质。我采取的方法是先将其列入候选角点之列，对其进行计算 CRF 等后续操作。
HARRIS角点的性质

旋转不变性：
椭圆转过一定角度但是其形状保持不变 （特征值保持不变） 角点响应函数 R 对于图像的旋转具有不变性
如果1 和 2 都很小， 图像窗口在所有方向上 移动都无明显灰度变化
“Flat” region
“Edge” 1 >> 2 1
HARRIS检测：数学表达
定义：角点响应函数R
R det M k trace M
2
det M 12 trace M 1 2
(k – empirical constant, k = 0.04-0.06)