因此，有必要研究图像之间约束，图像之间的几何 图像几何学
5. 射影几何学简介
为什么要学习射影几何？
z 照相机的成像过程是一个射影变换(透视
或中心射影)的过程：
成像平面
X
摄 像 机 坐 标 系
P
p
O Y
Z
常见的旋转和平移是欧氏变换，研究 在欧氏变换下保持不变的性质（欧氏 性质）的几何，是欧氏几何。比如长 度、角度、平行性等都是欧氏性质。
DEMO DEMO
• Automated 三维重建；
DEMO
场景重建
• 结构光三维重建；
DEMO DEMO
• 场景漫游
DEMO DEMO DEMO
3. 景物的成像过程
针孔摄像机
X
摄 像 机 坐 标 系 成像平面
M
m
O Y
Z
带镜头的摄像机：薄透镜；鱼眼镜头；反射镜面
反射折射镜
鱼眼镜头
针孔相机
坐标系
1. 计算机视觉的目标、任务；马尔视 觉理论计算框架
David Marr (1945-80)、马尔是 英国心理学家。 他将心理学，人工智能和神经生理学的结果结合起来，对视 觉的研究做出了重要贡献。他是计算视觉的奠基人。35岁， 患白血病去世。 D. Marr. Vision. Freeman and Company, Oxford, 1982. 的研究工作。发表于1982。
该书概括了Marr从1973到1977年在MIT人工智能实验室 该书诣于建立一个研究视觉的新框架。
1. 计算机视觉的目标、任务；马尔视 觉理论计算框架
马尔视觉系统研究的三个层次： 计算理论层次、 表达与算法层次、 硬件实现层次
计算目的与计算 策略； 输入、输出
各模块的输入、输出和 内部的信息表达、以及 实现计算理论规定的目 标的算法
齐次坐标形式
⎡ xc ⎤ ⎢y ⎥ ⎢ c⎥ = ⎡ R T ⎢ zc ⎥ ⎢ 0 ⎣ 3 ⎢ ⎥ ⎣1 ⎦
⎡ xw ⎤ ⎥ t⎤⎢ y ⎢ w⎥ 1⎥ ⎦ ⎢ xw ⎥ ⎢ ⎥ ⎣1 ⎦
透视投影——透镜成像原理图
物体
1 1 1 = + f m n
B A B O C 图像
一般地由于 n >> f 于是 m ≈ f 这时可 以将透镜成像模型近 似地用小孔模型代替
1、世界坐标系： X w , Yw , Z w 2、摄像机坐标系： X c , Yc , Z c 3、图像坐标系: 说明： 为了校正成像畸变 用理想图像坐标系 和真实图像坐标系
Xw Zw
[u , v ] [x, y ]
Xc
O w
Yw
世界坐标系
Zc
x u
[X u , Yu ]
[X d , Yd ]
O
v
无穷远平面的方程则为:
x0 = 0
射影参数
对于 n 维空间中的任意一条直线, 如果 P1 , P 2 是它上的任意两个取定的点, 则它 上的任意一个点 P 可以由 P1 , P 2 线性生 成:
X = c1 X 1 + c 2 X 2
其中 X , X 1 , X 2 分别是 P , P1 , P 2 的齐次坐 标, c 1 , c 2 是两个不全为零的常数.
X
c
Y
c
Y
u
M (xc , yc , zc )
p (x u , y u
)
Z
c
f
O
1
X
u
畸变校正——径向和切向畸变
径向畸变 离心畸变 薄透镜畸变 径向失真 切向失真
Yu
dr
Ideal Position
dt
xd = xu + δ xu ( xu , yu )
yd = yu + δ yu ( xu , yu )
被称作无穷远点的齐次坐标.
例如: 在欧氏直线上的普通点的坐标为 x , x1 / x0 = x 则适合 的两个数 x1 , x0 组成的坐标
( x1 , x0 )
为这个点的齐次坐标, x 为这个点的非齐 次坐标. 对任意的 x1 ≠ 0 , 则
( x1 , 0)
为无穷远点的齐次坐标.
引入齐次坐标后,
Yc
Z
c
Yu
o
M ( xc , yc , zc )
X
c
X
u
中心透视投影模型
xc xu = f zc yc yu = f zc
o 写成齐次坐标形式为
⎡ xu ⎤ ⎡ f ⎥ = ⎢0 zc ⎢ y u ⎢ ⎥ ⎢ ⎢ ⎣0 ⎦ ⎢ ⎣1 ⎥ 0 f 0 ⎡ xc ⎤ 0 0⎤ ⎢ ⎥ yc ⎥ ⎥ ⎢ 0 0⎥ ⎢ zc ⎥ ⎥ 1 0⎦ ⎢ ⎥ ⎣1 ⎦
O1
图像坐标系
y
Yc
分别描述畸变前后的坐标关系
摄像机坐标系
摄像机光学成像过程的四个步骤
1、刚体变换公式
世界坐标系 刚体变换 摄像机坐标系 透视投影 理想图像坐标系 畸变校正 真实图像坐标系 数字化图像 数字化图像坐标系
⎡ xw ⎤ ⎡ xc ⎤ ⎢ y ⎥ = R⎢ y ⎥ + t ⎢ w⎥ ⎢ c⎥ ⎢ ⎢ ⎦ ⎣zw ⎥ ⎦ ⎣ zc ⎥
f=OB 为透镜的焦距 m=OC 为像距 n=AO 为物距
透视投影——小孔成像模型
xc xu = − f zc
yc yu = − f zc
写成齐次坐标形式为
⎡ xu ⎤ ⎡− f ⎥=⎢ 0 zc ⎢ y ⎢ u⎥ ⎢ ⎢ ⎣ 0 ⎦ ⎢ ⎣1 ⎥ 0 −f 0 ⎡ xc ⎤ m(xu , yu ) 0 0⎤ ⎢ ⎥ yc ⎥ ⎥ ⎢ 0 0⎥ ⎢ zc ⎥ 1 0⎥ ⎦⎢ ⎥ ⎣1 ⎦
三维重建主要目的：从图像出发，求出所有的Mi 摄像机标定：从图像出发，求出内参数K 摄像机标定位或运动参数求解：从图像出发，求出运动参数R，t 三维重建的三个关键步骤 • 图像对应点的确定 • 摄像机标定 • 摄像机运动参数的确定
三维重建示意图
M
yw
zw xw
l
I
o
m e
l'
I′ e'
m′
o′
R,T
照相机的成像过程不保持欧氏性质
例如:平行线不再平行
无穷远元素
平行线交于一个无穷远点; 平行平面交于一条无穷远直线;
z 在一条直线上只有唯一一个无穷远点.
所有的一组平行线共有一个无穷远点.
无穷远点
z 在一个平面上,
所有的无穷远点组成一条 直线, 称为这个平面的无穷远直线.
平行线
Байду номын сангаас
无穷远直线
z 3维空间中所有的无穷远点组成一个平面,
称为这个空间的无穷远平面.
平行线
平 行 平 面 和 直 线 无穷远平面
射影空间
对 n 维欧氏空间加入无穷远元素, 并对有 限元素和无穷远元素不加区分, 则它们共 同构成了 n 维射影空间.
1维射影空间是一条射影直线, 它由我们所看到 的欧氏直线和它的无穷点组成; 2维射影空间是一个射影平面, 它由我们所看到 的欧氏平面和它的无穷远直线组成; 3维射影空间由我们所在的空间与无穷远平面 组成.
主要内容
计算机视觉的目标、任务；马尔视觉理 论计算框架 2. 演示：单幅图像测量；三维重建；结构光三维重建；场景
1.
漫游
景物的成像过程 4. 三维重建的目的、过程 5. 射影几何学简介
3.
1. 计算机视觉的目标、任务；马尔视 觉理论计算框架
计算机视觉是研究用计算机来模拟人和生物的视觉系统功能 的技术学科. 它是一门综合性的学科，其中包括计算机科学和工程、信 号处理、物理学、应用数学和统计学，神经生理学和认知 科学等. 目标: 让计算机能够感知周围视觉世界,了解它的空间组成 和变化规律. 传感、抽象、判断、识别、理解
Axis of min tangential distortion
桶形畸变a和枕形畸变b
薄棱镜畸变
图像数字化
O1在 u , v 中的坐标为 (u 0 , v0 ) 像素在轴上的物理尺寸为 像素在轴上的物理尺寸 dx, dy
Affine Transformation :
V
Yd
yd
xd yd cot θ u = u0 + − dx dx yd v = v0 + dy sin θ
马尔视觉理论特点： 没有考虑视觉中的选择性和整体性； 不确定和多义性； 计算量大 计算机视觉的应用：
工业自动化：工件的校验和质量控制；机器人导航； 机器人的工件获取和安放；测量 人机交互：人脸的检测、跟踪、识别、建模和动画；人体检测和跟踪； 手势识别；事件的检测和识别；视觉监控
2. 演示
• 单幅图像测量；
− f u cot θ f v / sin θ 0
v0
C
θ
xd
O
1
θ
Xd
U
齐次坐标形式:
⎡u ⎤ ⎡ f u ⎢v ⎥ = ⎢ 0 ⎢ ⎥ ⎢ ⎢ ⎣1 ⎥ ⎦ ⎢ ⎣0 u 0 ⎤ ⎡ xd ⎤ ⎢y ⎥ v0 ⎥ ⎥⎢ d ⎥ 1⎥ ⎦⎢ ⎣1 ⎥ ⎦
u0
fu = 1 1 , fv = dx dy
如何用硬件实 现以上算法
1. 计算机视觉的目标、任务；马尔视 觉理论计算框架
任务：马尔视觉信息处理的三个阶段： 图像低层处理 中层处理 空间表达与建模 高层分析
图像获取； 图像预处理包括图 像滤波、增强、矫 正
抽取图像的特征， 恢复其2.5维结构， 进行建模与表达
识别、分析、理解、 描述
1. 计算机视觉的目标、任务；马尔视 觉理论计算框架
⎡u ⎤ ⎡ f u ⎢v ⎥ = ⎢ 0 ⎢ ⎥ ⎢ ⎢ ⎣1 ⎥ ⎦ ⎢ ⎣0