sx
z 2.求解有效焦距 f 、 方向上的平移和畸变参数 k1
定标算法——步骤一
1.求解外像机参数旋转矩阵 和 R 、 方向上的平移 x y 由一个空间点 ( X wi , Ywi , Z wi )和其图像投影点 (x fi , y fi ) ,根据径 向一致约束性 O1 Pd // Poz P 可以得到下面的方程
0 f 0
最终得到：
图像像素坐标系
u f u − f u cot θ u0 f z c v = 0 f v / sin θ v0 0 1 0 1 1444 0 444 0 2 3
K
世界坐标系
0 f 0 0 0 R 0 0 T o 1 0 3 xw t yw z 1 w 1
Yu
Axis of min tangential distortion
桶形畸变a 枕形畸变b 桶形畸变a和枕形畸变b
薄棱镜畸变
4、图像数字化 O1在 u, v 中的坐标为 (u 0 , v0 )
象素在轴上的物理尺寸为 象素在轴上的物理尺寸 dx, dy Affine Transformation :
三维重建示意图
图象的形成过程 和 摄像机针孔模型
坐标系
1、世界坐标系： 世界坐标系：
X w , Yw , Z w
Xw
Zw Yw
2、摄像机坐标系： X c , Yc , Z c 摄像机坐标系： 3、图像坐标系: 图像坐标系: 说明： 为了校正成像畸变 用理想图像坐标系 和真实图像坐标系
[u, v ] [x, y ]
消去 s ，可以得到方程组:
p11 X w + p12Yw + p13Z w + p14 − p31uXw − p32uYw − p33uZw − p34u = 0 p21 X w + p22Yw + p23Z w + p14 − p31uXw − p32uYw − p33uZw − p34u = 0
X
c
X
u
2、中心透视投影模型
xc xu = f zc yc yu = f zc
o 写成齐次坐标形式为
xu f z c yu = 0 1 0 0 f 0 xc 0 0 y 0 0 c z 1 0 c 1
T
像机定标的任务就是寻找合适的 L ，使得 || AL || 为 最小，即 min ||
L
AL ||
给出约束： p34
=1
Байду номын сангаас
L' = −(C T C ) −1 C T B
L' 为 L 的前11个元素组成的向量， 为 A 前11列组成的矩 C B 阵， 为 A 第12列组成的向量。
p34 = 1 是否合理？
当已知 N 个空间点和对应的图像上的点时，可以得到一个 含有2* N 个方程的方程组：
AL = 0
其中 A为 (2N *12) 的矩阵， 为透视投影矩阵元素组成的 L 向量 [ p11 , p12 , p13 , p14 , p 21 , p 22 , p 23 , p 24 , p31 , p32 , p33 , p34 ] 。
摄像机标定及三维重建
乔 雷 李美霖 何建虎 李豪杰
引言 几个问题
什么是摄像机标定 ？ 为什么要对摄像机进行标定 ？ 为什么要研究不同的摄像机标定方法？ 为什么要研究不同的摄像机标定方法？ 什么是三维重建 ？ 为什么要进行三维重建 ？
引言
三维重建是人类视觉的主要目的， 三维重建是人类视觉的主要目的，也是计算机视觉 的最主要的研究方向. 的最主要的研究方向 (Marr 1982) 所谓三维重建就是指从二幅和二幅以上图象恢复空 所谓三维重建就是指从二幅和二幅以上图象恢复空 二幅和二幅以上图象 间点三维坐标的过程。 间点三维坐标的过程。 三维重建的三个关键步骤 • 图象对应点的确定 • 摄像机标定 • 二图象间摄像机运动参数的确定
主要内容
•像机模型 • •径向一致约束 •定标算法
像机模型
xw xu
zw
yw
O
zc
yu
世界坐标系和摄像机坐标系的关系
xc
o'
oc
xc xw y c = R y w + T z z c w
像机模型
Yc Yu
p (x u , y u )
Position with distortion
Xu
dr :radial distortion dt :tangential distortion
3、畸变校正——其它畸变类型 、畸变校正——其它畸变类型
Xu
Axis of max Tangential distortion
a b
a :barrel distortion b :pincushion distortion
约束 p34 = 1 不具有旋转和平移的不变性,解将随着世 界坐标系的选取不同而变化. 证明：
R t 世界坐标系作刚性坐标变换 P ' = P 0 1
则
' p34 = p31t1 + p32 t 2 + p33 t 3 + p34
' 显然在一般的情况下 p 34 ≠ p 34
另一个约束
u0
fu = 1 1 , fv = dx dy
其中
摄像机的内参数矩阵 K
u f u − f u cot θ u0 xd v = 0 y f v / sin θ v0 d 1 1 0444 0 444 1 1 2 3
这是忽略畸变的线性成像模型
传统的摄像机标定方法
特点 要求摄像机标定块，算法复杂， 要求摄像机标定块，算法复杂，精度高
直接线性变换（ 变换） 直接线性变换（DLT变换） 变换
DLT: Direct Linear Transformation
DLT变换 DLT变换
Abdal-Aziz和Karara于70年代初提出了直接 线性变换像机定标的方法，他们从摄影测量 学的角度深入的研究了像机图像和环境物体 之间的关系，建立了像机成像几何的线性模 型，这种线性模型参数的估计完全可以由线 性方程的求解来实现。
V
Yd
yd
xd yd cot θ u = u0 + − dx dx yd v = v0 + dy sin θ
− f u cot θ f v / sin θ 0
v0
C
θ
xd
O
1
θ
Xd
U
齐次坐标形式: 齐次坐标形式:
u f u v = 0 1 0 u 0 xd v0 yd 1 1
齐次坐标形式
xc y c = R z c 0T 3 1
xw y t w 1 xw 1
2、透视投影——透镜成像原理图
物体
1 1 1 = + f m n
Ａ Ｏ ＢＣ
图像
一般地由于 n >> f 于是 m ≈ f 这时可 以将透镜成像模型近 似地用小孔模型代替
u f u v = 0 1 0
− f u cot θ f v / sin θ 0
u0 x v0 y 1 1
x f y = 1 0 z c 1 0
p
2 31
+ p
2 32
+ p
2 33
= 1 具有旋转和平移的不变性
P3 ( p31 , p 32 , p33 )
R1 (r11 , r21 , r31 )
R3(r13 , r23 , r33 )
θ1 θ 3
θ2
R2(r12 , r22 , r32 )
向量 R1 ,R2 , R3 是两两 垂直的单位向量
像机模型
v
从实际图像坐标到数字图像坐标的变换
Yd
m
u =s d x +u0,v =d y +v0
−1 x x d
−1 y d
yd
v0
θ
O1
xd θ u0
Xd
c
u
径向一致约束
Oc Xc
Zw
o1
Yc yu Poz
xu
Pu Pd
径向一致约束:
Ow
Yw
Xw
O1 Pd // Poz P
P
Zc
定标算法
定标步骤: 1.利用径向一致约束来求解 R, t x , t y 和
f=OB 为透镜的焦距 m=OC 为像距 n=AO 为物距
2、透视投影——小孔成像模型
xc xu = − f zc
yc yu = − f zc
Yu
Yc
Z
c
o
M ( xc , yc , zc )
写成齐次坐标形式为
xu − f z c yu = 0 1 0 0 −f 0 xc m( xu , yu ) 0 0 yc 0 0 zc 1 0 1
Xc
O w
世界坐标系
y u
Zc
[X u , Yu ]
[X d , Yd ]
O
v
O1
图像坐标系
x
Yc
分别描述畸变前后的坐标关系
摄像机坐标系
摄像机光学成像过程的四个步骤
1、刚体变换公式
世界坐标系 刚体变换 摄像机 透视投影 理想图像坐标系 畸变校正 真实图像坐标系 数字化图像 数字化图像坐标系