e
两摄像机光心连线与CCD线性排列方向不平行 通过将对极点映射到水平位置（垂直坐标为0）可 对此进行校正
cos R sin 0 sin cos 0 0 0 1
无穷远变换
e e
-14-
map epipole e to (1,0,0)
两摄像机由于汇聚造成两图像的像平面不平行 通过将对极点映射到无穷远（对级线平行）可对 此进行校正
-10-
m p1 m p 2 m p 3 m p 4
… … …
m pn
Mn
M1 M 2 M 3 M 4
光心改变
mn1 mn 2 mn3 mn 4
mnn
通过任意选定大量{M}点，进行投影得到{ml},{mr}， 最后使用最小二乘拟合得到变换式H
m pi H
mni
无摄像机参数下的校正
Hr
-11-
Hl
光心不变的退化场景，平面单应性对空间所有点一致成 立，即存在H变换，使投影满足mr=Hml
T mnl ( K nl Rnl )( K pl RT pl ) m pl
摄像机参数下的校正算法
1 M C pl pl ( K pl R T ) m p1 pl T 1 M Cnl nl ( K nl Rnl ) mn1
x f 1 y 0 z c 1 0
xc y c R T zc 0 3 1
多视图关系
对极几何
l
M
-7-
l' m I e
I
m
o
e'
o
所有的外极线都过对应的外极点，外极点是光心连线与图 象平面的交点。对应外极线束构成一射影变换
1 G 0 ex 2 2 ex e y 0 1 ey
2 2 ex ey
0 0 1
消定义仿射变换
转化为最小化问题
2 ( A G R T p G R T p ) l l l l li r r r ri i
非线性变化示意
-20-
权重策略
-21-
梯度图
运动检测
人脸检测
非线性变换方程组
权重值 线性校正约束项
-22-
时间一致性约束项
边界确定策略
-23-
参考文献
-24-
[1] R. Hartley and A. Zisserman, Multiple view geometry incomputer vision, Cambridge Univ Pr, 2003. [2] Philipp Krahenbuhl, Manuel Lang, Alexander Hornung,and Markus H. Gross, “A system for retargeting ofstreaming video,” ACM Trans. Graph., vol. 28, no. 5,2009. [3] Manuel Lang, Alexander Hornung, Oliver Wang, Steven Poulakos, Aljoscha Smolic, and Markus H. Gross, “Non-linear disparity mapping for stereoscopic 3d,” ACM Trans. Graph., vol. 29, no. 4, 2010. [4] Lior Wolf, Moshe Guttmann, and Daniel Cohen-Or, “Non-homogeneous content-driven video-retargeting,” in ICCV, 2007, pp. 1–6. [5] Andrea Fusiello and Luca Irsara, “Quasi-euclidean un-calibrated epipolar rectification,” in ICPR, 2008, pp. 1–4.
世界坐标系
xw t y w 1 xw 1
u f u v 0 1 0
f u cot f v / sin 0
u0 x y v0 1 1
(e' )T Fmi 0
Fe1 0, F T e' 0
目录
-8-
1
2
3
校正简介
传统算法
新算法
摄像机参数下的校正算法
P K [ R , R C ] m p1 Ppl M mn1 Pnl M
T T
-9-
光心不变
1 M C pl pl ( K pl R T ) m p1 pl T 1 M Cnl nl ( K nl Rnl ) mn1
1 0 0 Al a b c 0 0 1
进一步转化为线性最小二乘问题
ˆ (ax
i
li
ˆ li c x ˆri ) by
2
目录
-16-
1
2
3
校正简介
传统算法
新算法
基本流程
传统几何 校正变换H
全局统一变换 像素点无差异
不同像素点 区别对待
-17-
图像空洞
图像校正 + 图像填充
非线性几何 校正变换H’
基本流程
传统几何 校正变换H 1
-18-
重力垂向 引入 非线性变换 方程组求解
2
权重图
3
边界条件
4
非线性几何 校正变换H’
重力垂向信息引入
对极线的多义性
-19-
给定左图的重力方向g=(gx,gy),可以得到左图旋转角度 θl=arctan(gx/gy) 根据两图的对级线的斜率，可以得到右图对应的旋转角度 θr=θl-arctan(ery/erx)+arctan(ely/elx)
计算摄像学专题第八讲(上)
——多视角图像校正技术研究
戴琼海 清华大学 自动化系 2011-03-30
目录
-2-
1
2
3
校正简介
传统算法
新算法
目录
-3-
1
2
3
校正简介
传统算法
新算法
问题提出
摄像机固定误差 汇聚型摄像机
-4-
校正目的
-5-
摄像机模型
-6-
图像像素坐标系
图像物理坐标系
摄像机坐标系
0 f 0 xc 0 0 yc 0 0 z c 1 0 1
通过求解平面单应变换Hl和hr，实现无摄像机参 数下的几何校正。
坐标系变换
-12-
希望H对图像给定的选择点pc的邻域作用尽可能是一 个刚性变换 通常图像的中心是一个好的选择
1 0 pcx T 0 1 pcy 0 0 1
对极点旋转
e
-13-
-25-