当前位置:
文档之家› 第3章 局部不变性特征描述子 (1)
第3章 局部不变性特征描述子 (1)
标的基础上对目标的尺度、平移、旋转等不敏感
2. 特征提取的广义定义
根据待识别的图像的特点,通过计算机的计算产生的一组原 始特征来表示原始图像,称之为特征形成,一般称为特征提取。
3. 狭义定义
特征提取:在原始特征基础上选择一些主要特征作为判别用 的特征,以达到降低特征空间维数的目的。
可区别性、可靠性、独立性好、数量少
频信号,而代表边缘以及角点等特征的高频信号丢失。可以 在不同分辨率层上通过在不同的尺度上应用合适的函数来表 示一个特征(如边缘和角点)。 在高斯尺度空间,同一类型特征点和边缘在不同的尺度上具 有因果性,即当尺度变化时,新的特征点可能出现,而老的 特征点可能移位或消失。这种因果性带来的含糊性是固有的, 不可避免的,不能企求消除,但可以减小。
局部特征:从局部的区域计算的特征,如关键点(兴趣 点)、局部区域,等 全局特征:从整个图像级提取的特征 形态特征 vs. 纹理特征
纹理特征
纹理是一个模糊的概念,无统一的定义 由许多互相接近的、互相编织的元素构成,并常富有周期性,
如小成分构造,最典型的如纺织品纤维的结构
纹理描述很少用到边缘检测 特点:
金字塔影像
– 图像金字塔是以多分辨率来解释图像的一
种结构。
– 一般按照2n(n=0,1,2…)取平均得到。 – 最底层的影像对应原始影像。 – 通过每2x2=4个像素平均,即可构成2级影
像级,如此类推,即可构成多级金字塔影 像。
– 每一级(2i)影像的像素总数对于前一级(2i-1)
影像以4的倍数缩小(也可通过3x3=9个平均 像素来建立影像级)。
度参数值的增加而逐渐地被抑制,尺度从粗到细的变化过程 中,不会产生新的结构。
在高斯尺度空间下,只是对图像作了卷积,图像的分辨率和 像素仍然没有改变,只是细节平滑了,而传统的影像金字塔 关键在降采样,显然分辨率降底了。
不同尺度因子下的图像
高斯尺度空间
通过高斯滤波得到的尺度空间表示了图像在不同尺度下的低
的多边形。
仿射变换的乘积和逆变换仍是仿射变换。 仿射变换能够实现平移、旋转、缩放等几何变换。
5)透视变换
把物体的三维图像表示转变为二维表示的过程,称为透视变 换,也称为投影映射,其表达式为:
u ' a11 v' a 21 w' a31 a12 a 22 a32 a13 x y a 23 a33 1
3.3.1 尺度空间理论
尺度
广义尺度 空间尺度 制图尺度 地图比例尺
图上距离与实 际距离之比
大比例尺→小 范围、详细信 息
时间尺度
语义尺度 分辨率 测量尺度
区分目标的最 小可分辨单元 (如:像元)
地理尺度 观测尺度
研究的空间范 围或大小
如:大尺度覆 盖大的研究区 域
运行尺度 有效尺度
地学现象发生 的空间范围 一定环境中发 挥效应的尺度 如:森林比树 的运行尺度大
金字塔多分辨率
一个金字塔表达,通常结合滤波和二次抽样连续地减少图
像尺寸来生成。
常用的金字塔结构有Gaussian金字塔、Laplacian金字塔、小 波金字塔等。 金字塔影像是一种较老的尺度表示方法,结合了降采样操 作和平滑处理,它的一个很大的好处是:自下而上每一层 的像素数都不断减少,这会大大减少计算量,而缺点是这 种自下而上的金字塔在尺度量化方向显得较为粗糙。
图像的多尺度空间表达
尺度空间表示通过平滑获得,可描述为 ( x, ) 空间, x和 分别为位置参数和尺度参数。 尺度参数可以是离散的,也可以是连续的。 所有尺度上空间采样点个数是相同的(尺度空间表示法在各 个尺度上图像的分辨率都是一样的)。 应该具有尺度伸缩等不变性。
高斯尺度空间
其中,[u,v]为变换后图像像素的笛卡尔坐标,[x,y]为原始图像中 像素的笛卡尔坐标。
1)平移变换
若图像像素点 ( x, y ) 平移到 ( x x0 , y y 0 ) ,则变换函数为
u X ( x, y) x x0
写成矩阵表达式为:
v Y ( x, y ) y y0
图像中的区域(目标),可用其内部(如组成区域的象素集合) 表示,也可用其外部(如组成区域边界的象素集合)表示
关心区域的形状等
选定了表达方法,还需要对目标进行描述,使计算机能充分
利用所能获得的分割或者其他结果 表达是直接具体的表示目标。好的表达方法应具有节省存储
空间、易于特征计算等优点
描述是较抽象的表示目标。好的描述应在尽可能区别不同目
sin x y cos
这个计算公式计算出的值为小数,而坐标值为正整数 这个计算公式计算的结果值所在范围与原来的值所在的范围
不同
因此需要前期处理:扩大画布,取整处理,平移处理 旋转后处理:插值
4)仿射变换
图像仿射变换提出的意义是采用通用的数学影射变换公式, 来表示前面给出的几何变换。
3.3.1 尺度空间理论
尺度空间理论是通过对原始图像进行尺度变换,获得图像多
尺度下的尺度空间表示序列,对这些序列进行尺度空间主轮
廓的提取,并以该主轮廓作为一种特征向量,实现边缘、角 点检测和不同分辨率上的特征提取等。
尺度空间表示是一种基于区域而不是基于边缘的表达,它无
需关于图像的先验知识。 尺度空间理论属于CV中图像的多分辨率分析。
u x x0 v y y 0
x0 和 y0 分别为 x 和 y 的坐标平移量。 其中,
注意:平移后的景物与原图像相同,但“画布”一定是扩大了。 否则就会丢失信息。
2)比例缩放
若图像坐标 ( x, y )缩放到 ( s x , s y ) 倍,则变换函数为:
透视变换也是一种平面映射,并且可以保证任意方向上的直 线经过透视变换后仍然保持是直线。
透视变换具有9个自由度(其变换系数为9个),故可以实现 平面四边形到四边形的映射。
局部特征性质
局部图像特征描述的核心问题是不变性、鲁棒性和可区分性。 不变性:指局部特征不随图像大的变形而改变。对于大的图像变
其中,I ( x, y)为原图像, x, y为像素点坐标, 为尺度参数
G( x, y, )
1 2
2
e
( x2 y 2 ) 2 2
高斯尺度空间
当采用不同尺度的平滑函数对同一图像进行滤波时,得到的
一簇图像就是原始图像相对于该平滑函数的尺度空间,σ 为 尺度空间坐标。
构建高斯尺度空间的主要思想是在精细尺度上的信息随着尺
1999年British Columbia大学的大卫.劳伊(David G.Lowe)教授总结了现有的
基于不变量技术的特征检测方法,并正式提出了一种基于尺度空间的、对图像 缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子- SIFT(尺度 不变特征变换),这种算法在2004年被加以完善。
特征选择:原始样本处于一个高维空间中,采用某种变换技
术,将高维特征变换或映射到低维空间,得到最具代表性的 较少的综合低维特征。
图像特征
几何形状
颜色特征
色
亮度信息特征
(光谱)
图像 特征
边缘特征 纹理特征 空间关系
形
色调、颜色、阴影、反差
形状、大小、空间布局、纹理
特征类别
像素级特征:从每一个像素点计算的特征,如颜色、位 置
不是基于像素点的特征,它需要在包含多个像素点的区域中进 行统计计算
局部区域中像素位置之间的相关性
3.2 局部特征
局部特征不是关键,其若干不变性(旋转不变性、尺度不变
性、仿射不变性、灰度不变性等)才是局部特征研究发展的 关键!
熵、能量、部分矩具有旋转不变性,还具有尺度不变性 不变性:假设有一个函数f(x)和变换G,如果满足f(G(x))= f(x), 也就是作用在自变量 x 上的变换并不改变函数的值,则称 f 具 有G不变性。 协变性:如果 f 和 G 满足交换律,即 f(G(x))= G(f(x)) ,则 f 对于
的特征描述子,其区分局部图像内容的能力就稍弱;而如果一个 非常容易区分不同局部图像内容的特征描述子,它的鲁棒性往往
比较低。
局部特征应用举例
图像配准 图像表示
目标识别
全景图像拼接 。。。
局部特征的发展趋势
快速、低存储
3.3 典型算法
SIFT——里程碑式的工作 SURF
u s x v 0
0 x y sy
其中, s x , s y 分别 x 和 y坐标的缩放因子,其大于1表示放大, 小于1表示缩小。
3)旋转变换
将输入图像绕笛卡尔坐标系的原点逆时针旋转θ角度,则变 换后图像坐标为:
u cos v sin
u a2 v b 2
a1 b1
x a0 y b0 1
平移、比例缩放和旋转变换都是一种称为仿射变换的特殊情况。
仿射变换性质
仿射变换有6个自由度(对应变换中的6个系数),因此,仿 射变换后互相平行直线仍然为平行直线,三角形映射后仍是 三角形。但却不能保证将四边形以上的多边形映射为等边数
– 常采用的是高斯金字塔影像生成算法,构
成金字塔的层数,应当根据影像的分辨率、 影像可能的噪声、影像的大小及相关计算 速度来确定。
图像的多尺度空间表达
尺度空间表示是一种基于区域而不是边缘的表达
N f : R R ,它的尺度空间 L : R N R R 对于一个N维信号
定义为: L(x:t)=K*f(x, t) 其中 t 为尺度参数, K 为尺度空间核。