图像校正 (Rectified Images)
在校正图像中所有极线都平行
关键点
A.图像获取
B.相机标定
C.特征提取 D.立体匹配
E.三维重建
图像获取
在进行图像处理之前，先要用摄像机获取三维物
体的二维图像。光照条件、相机的几何特性等对 后续的图像处理造成很大的影响。
相机标定
为什么需要两个眼睛？
物体的深度信息可
以通过双眼的观察 得到。
亚像素(Sub-pixel)
在某些对精度要求较高的场合，需要对视差进一步
精细化 (Refinement)，亚像素是其中的一种方法。
立体视觉（Stereo Vision）
由两幅或多幅从不同视点拍摄的图像恢复场景三
维信息的技术 两个主要的子问题
值，秩为2。
Fundamental 矩阵
当内部参数未知（非标定的摄像机）：
ql Mpl qr Mpr
公式可表示为：
pl M ql 1 pr M qr
(qr )T Fql 0
1
M为内参矩阵 ql, qr为图像坐标 Fundamental矩阵秩同样为2。
F M T EM 1
特征点提取算法可以总结为：基于方向导数的方
法，基于图像亮度对比关系的方法，基于数学形 态学的方法三种。
立体匹配
立体匹配
三维重建
有了比较精确的匹配结果，结合摄像机标定的内
外参数，就可以恢复出三维场景信息。由于三维 重建精度受匹配精度，摄像机的内外参数误差等 因素的影响，因此首先需要做好前面几个步骤的 工作，使得各个环节的精度高，误差小，这样才 能设计出一个比较精确的立体视觉系统。
Fundamental矩阵是摄像机非标定的情况用的。
Reference: 《Learning OpenCV》
图像校正 (Rectified Images)
目的：规范化极线
约束中的极线分布， 使得匹配效率得到 进一步的提高。
校正后的图像不需
要求极线方程，因 为相对应的匹配点 在图像相对应的扫 描线(Scan-line)上。
通过摄像机标定来建立有效的成像模型，求解出
摄像机的内外参数，这样就可以结合图像的匹配 结果得到空间中的三维点坐标，从而达到进行三 维重建的目的。
特征提取
特征主要包括特征点、特征线和区域。大多数情
况下都是以特征点为匹配基元，特征点以何种形 式提取与用何种匹配策略紧密联系。因此在进行 特征点的提取时需要先确定用哪种匹配方法。
匹配问题 -> 视差图(Disparity Space Image) 相似而不是相同 遮挡问题: 场景的某些部分只在一幅图像中可见
重建问题 -> 3D
重建所பைடு நூலகம்要的摄像机参数 立体摄像机标定
极线几何 (Epipolar Geometry)
动机:在哪寻找匹配点? 极平面 极线 极点 极线约束 匹配点必须在极线上
2D 和 3D 的关系
现实存在的问题 一般的物体(Objects)都是三维的； 图像(Images)却是有关灰度，颜色等信息的阵列； 3D的深度(Depth)信息在一幅图像上不能明显的显示出 来。
2D的分析需要3D的信息 物体表面是连续，平滑(Smooth)的； 物体都有特定的形状和边界。 3D的信息可以通过2D的图像计算出来 视差(Disparity)，深度(Depth)信息等等。
P
Pl
极平面
Pr
极线
p l
p
r
Ol
el 极点
er
Or
极线几何 (Epipolar Geometry)
基线：左右两像机
P Pl 极平面 Pr
光心的连线；
极平面：空间点，
两像机光心决定的 平面；
极点：基线与两摄
极线
p l p r
像机图像平面的交 点；
极线：极平面与图
Ol el 极点 er 基线
Or
像平面的交线。
Essential 矩阵
左右两幅图像相对应的点之间的关系可以通过Essential
矩阵或是Fundamental 矩阵来表明。 Essential 矩阵是摄像机标定情况下用的。 公式： ( p )T Ep 0
r l
pr和pl分别是齐次摄像机坐标向量。 公式描述了点pr位于与向量Epl相关的外极线上。 Essential 矩阵是奇异矩阵，并有两个相等的非零奇异