校正前 校正后
研究生“机器视觉”课程
研究生“机器视觉”课程
研究生“机器视觉”课程
5、三眼视觉 目的：利用三个摄像机减少匹配的二义性
P
l2
P” 2
P2 P2’
O2
P1 O1
l32’ P3’ l31
P” 3 P3 l32 l32” O3
P1与P2对应于空间同一点的条件是P1同时与 P2、P3具有相似的图像特征
[g (i, j )− gm ]2
(i , j∈Ω )
(i , j∈Ω )
5）差平方和法（最小二乘相关）
C(x, y) = ∑ [ f (x + i, y + i) − g(i, j)]2 (i, j∈Ω)
6）差绝对值和法
C(x, y) = ∑ | f (x + i, y + i) − g(i, j) | (i, j∈Ω)
1、系统标定
CCD摄像机的标定（ax、ay、u0、v0、f） 系统参数a、b、θ的标定
a —参考平面物距 b —参考平面像距，也是透镜焦距
θ—光片与成像系统光轴的夹角 Δx
θ
Δz
tanθ = Δx / Δz
研究生“机器视觉”课程 2、图像处理
(1) 影响图像质量的因素 被测表面特性对图像的影响
（表面颜色、材质、粗糙度、光学性质以及表面面型等）
对于漫反射模型，其物体表面的光强度与观 察方向无关，即左右摄像机观察空间任意一 点P，该点具有相同Hale Waihona Puke 度。研究生“机器视觉”课程
图像1上一点P1(u1, v1)与图像2上一点 P2(u2, v2)是否为对应点？
选择一个以P1点和P2点为中心的邻域Ω，考察这两个邻域内 像素灰度的相似性。
在邻域Ω上的灰度相关值：
v
（3）基于结构光的焊缝检测
激光器
CCD摄像机
研究生“机器视觉”课程
工件
研究生“机器视觉”课程 （4）基于条纹模式投影的物体三维形状恢复
研究生“机器视觉”课程 三维恢复结果
研究生“机器视觉”课程
§4.3 由明暗恢复形状（Shape From Shading）
使用图像明暗（灰度）变化来求取物体的形状信 息，这一过程通过计算图像中每一点（x’，y’）对 应的场景表面方位来实现。
( i , j∈Ω )
∑ ∑ f 2 ( x+i, y+i)
g2 (i, j)
(i , j∈Ω )
(i , j∈Ω )
研究生“机器视觉”课程
4）标准化协方差相关法
C(x, y) =
∑ [ f ( x+i, y+i)− fm ][ g (i, j )− gm ]
(i , j∈Ω )
∑ ∑ [ f ( x+i, y+i)− fm ]2
• 定义两个投影变换矩阵 H1、H2。通过它们对原有 的两幅图进行校正，并保 持光心的位置，但使图像 平面与基线平行。此外希 望右图上的点m1=(u1,v1)T的 外极线是v1=v2的水平线。
研究生“机器视觉”课程
校正后图像的特性 • 所有的外极线相互平行 • 所有的外极线与图像水平方向平行 • 对应的外极线在同一水平线上 • 因投影校正造成的在水平方向上的视差尽量小 • 此时的基础矩阵可写成
（2）对于一组给定的摄像机参数，提高场景点距离计算精度的 有效途径是增加基线距离B，即增加场景点对应的视差。
（3）增加基线距离带来的问题： （a）随着基线距离的增加，共同的可视范围减小。 （b）场景点对应的视差值增大，则搜索对应点的范围 增大，出现多义性的机会增大。 （c）由于透射投影引起的变形导致两幅图像不完全相 同，这给确定对应点带来困难。
∑ C
=
1 M
(I1(u1 − i, v1 − j) − I1)(I2 (u2 − i, v2 − j) − I2 )
(i, j )∈Ω
M为邻域内像素点的个数， I1与 I2 为在p1邻域或p2邻域内的灰度平均值。
相关值越大，说明p1与p2越相似。
研究生“机器视觉”课程
相关法的几种数学形式
1）直接相关法
nm
∑ ∑ σ
2
=
1 mn
( f (i, j) − μ)2
j=1 i=1
相似评价函数：
mn
∑ ∑ εk =
f 0 (i, j) − f k (i, j)
j =1 i=1
（3）唯一性约束 （4）连续性约束
研究生“机器视觉”课程
3、匹配方法
（1）相关法
相关法假设I1图上的p1点及其邻域上各点的灰 度与I2图上的p2点及其邻域上各点的灰度有相 似性。
在一个图像平面上，所有的外极线都交于外极点。
研究生“机器视觉”课程
立体视觉中，相机布置的特殊情况（简化模型）：
光轴 外极线
场景点 外极平面
1、两台摄像机参数完全相同; 2、两个图像平面位于一个平面上; 3、两台相机的坐标轴相互平行，
且x轴重合，摄像机之间在X方 向的间距为基线距离B。
问题：
此时外极点在何处？
改进的加权面积积分算法
a) 激光光条位置的粗略搜索
0 滑动窗口
光条起点
研究生“机器视觉”课程
i =512 滑动窗口
光条终点
激光光条区域
j = 512
b）光条区域上的滤波 （一维均值滤波和中值滤波）
以上两种算法效果的比较
研究生“机器视觉”课程
(b) 面积积分能量中心检测算法结果
(a) 存在大片虚反射光区实测图像
研究生“机器视觉”课程
“立体视觉”测距步骤
Step 1、确定摄像机的相对几何位置和有关参数，即摄 像机的标定（Calibration）。
Step 2、寻找在两幅图像中都便于区分的特征，或用于匹 配的基元。
Step 3、把左、右两幅图像中的有关特征进行匹配，即 解决特征匹配的方法问题。
Step 4、根据视差计算成像物体相对摄像机的距离。
研究生“机器视觉”课程
第四章 深度图（Depth Map）
深度图表示场景中各点相对于摄像机的距离。
获得场景深度图的技术 被动测距传感 如：立体视觉、Shape from X （Shading、Texture、Motion…） 主动测距传感
如：结构光测距、雷达测距等
研究生“机器视觉”课程
§4.1 立体视觉
（2）特征点匹配
l1
p1
研究生“机器视觉”课程
p2
p2’
p2”
l2
q1 左图像
q2 右图像
用边缘点和交点寻找对应
p2 p1
O1
P1’ P2’
O2
图像上外轮廓线上的点不对应空间同一点
研究生“机器视觉”课程
（3）极线的整体匹配
Q P
由左图上的P寻找其在右图上的对应
点P’，P和P’分别位于两条极线l1和l2 上，l1上所有点的对应点都在l2。反 之亦然。
l1 p q I1
q’
P’
l2
I2
（a）视差梯度Gd应小于等于2
G = 2 ( p'− p)−(q'−q)
d
( p'− p)+(q'−q)
（b）对应点在极线上的序 一般情况下，序一致。 也有序颠倒的情况。
研究生“机器视觉”课程
4、投影校正( Rectification )
外极线基础等式 mT Fm' = 0
(c) 改进的加权面积积分算法结果
研究生“机器视觉”课程
三、结构光测量实例 （1）在数控机床上利用线结构光测量石膏模型的结果
研究生“机器视觉”课程 （2）传送带上物体形状的恢复
放在传送带上的运动物体经过一个光束平面，在光带图像 中产生变形，然后计算光束平面上物体的轮廓。以规则间 隔重复上述过程即可恢复物体的形状。
= x
xl'
zf
= x − B
xr'
z
f
z = B⋅ f xl' − xr'
x = B⋅xl' xl' − xr'
同理：
y = B⋅yl' xl' − xr'
x
视差与距离的关系
研究生“机器视觉”课程
Z
P (x,y,z)
z = B⋅ f xl' − xr'
x’l
x’r
Pl
Pr f
Cl
B Cr
x
（1）各种场景点的距离可以通过计算视差来实现。
研究生“机器视觉”课程
2）基元应具有的特性 稳定性、敏感性
3）常选基元 （1）在所有图像点上抽取的量测。 如：灰度、卷积图像符号等 （2）图像特征。如：边缘
研究生“机器视觉”课程
2、匹配过程中应遵循的约束条件
(1)外极线约束 根据透视投影成像几何原理，一幅图像上的特征 点一定位于另一幅图像上对应的外极线上。
虚反射光区
真实光条
存在虚反射光的光条图像
数字图像采集系统噪声
研究生“机器视觉”课程 (2) 图像处理（光条中心检测）方法例
面积积分的能量中心检测算法
j
像 素 行
漫反射光条
0
像素列
i
512
512
∑ ∑ c j = ( p ji × c ji ) / p ji
i =1
i =1
cj为第j行激光光条的中心； pji为第j行第i个像素的灰度值； cji为第j行第i个像素的坐标值(pixel)
一、什么是立体视觉？
立体视觉（Stereo Vision）——从两个不同的位置观察 同一物体，用三角测量原理计算摄像机到该物体的距离的 方法。通常又称为“双目立体视觉（binocular Vision）