三维重建主要目的：从图像出发，求出所有的Mi 摄像机标定：从图像出发，求出内参数K 摄像机定位或运动参数求解：从图像出发，求出运动参数
2019/11/21
3
• 三维重建
• 摄像机标定
• 摄像机运动参数的X确c 定 x
u
空间物体 Zc
v O1
y
图像坐标系
yw zw
MO
摄像机坐标系
Yc
xw
l
Im
o
e
l'

vLeabharlann a3 1 张量积曲面由两条曲线合成，可以认为是两曲线 的积：一条曲线以u为坐标，另一条以v为坐标．任 何平行于坐标轴的平面和张量积三次多项式曲面的 交线都是三次多项式曲线．
p(u, v) U T MV
2019/11/21
14
1.4 超二次曲面
• 具有参数的二次多项式，通过调整参数可以改变物体的形
2019/11/21
9
多边形网面数据结构
• 顶点坐标表示 各个平面表示为顶点三维坐标的集合 问题：顶点重复出现．
• 顶点序列表示 顶点按序编号，平面中顶点用编号表示 问题：边重复出现，且不能明显表示相邻平面的边界．
2019/11/21
10
• 多边形表表示
2019/11/21
11
多边形网面表例
2019/11/21
2019/11/21
16
2.1 三角形面插值
1. 对于图像中一点（i,j），计算其图像平
面坐标：
m 1 xj j 2
yi

i
n 1 2
2.获得深度图中包含该点的三个非共线的点 3.计算三点所对应的平面 4.确定（i,j）在该平面上的深度值
zij a0 a1 x j a2 yi
三维重建
3D Reconstruction
• 三维重建是人类视觉的主要目的，也是计算机视觉最主 要的研究方向. (Marr 1982)
• 所谓三维重建就是指从单幅图像加景物约束、二幅、二 幅以上图像恢复空间点三维坐标的过程。
2019/11/21
成像平面
O
2
照相机的成像模型：
ximi K(R, t)Μi
• Delaunay三角剖分的不足: 在低纬空间下数据量较小时更有 效.
2019/11/21
19
2.2 线性插值
• 用二元线性函数对曲面片建模
f(x,y)=a0+a1x+a2y+a3xy • 用矩形四个顶点计算系数，代入获得深度值
2019/11/21
20
把每一个顶点的坐标代入
z00 a0 a1x0 a2 y0 a3 x0 y0 z01 a0 a1x0 a2 y1 a3 x0 y1 z10 a0 a1x1 a2 y0 a3 x1 y0 z11 a0 a1x1 a2 y1 a3 x1 y1
• 三维建模(modeling)
形成物体(object)或场景(scene)的三维表示
场景
2019/11/21
深度测量
点云
point 三维建模
clou d
三维场景
5
三维场景重建
• 表面重建 通过几何单元拼接拟合物体表面来描述物体的三维结构
基于深度图的表面重建 基于三维密度图的表面重建
• 体重建 直接将体像素以一定的颜色和透明度投影到显示平面
2019/11/21
17
Delaunay triangulation
实数域上的三角剖分
定义1 ：假设V是二维实数域上的有限点集，边e是由点集中的点作为 端点构成的封闭线段, E为e的集合。那么该点集V的一个三角剖分 T=(V,E)是一个平面图G，该平面图满足条件： 1.除了端点，平面图中的边不包含点集中的任何点。 2.没有相交边。 3.平面图中所有的面都是三角面，且所有三角面的合集就是点集V的 凸包
m
Ie’'
’
o
Xw
Zw
Ow
Yw
世界坐标系
摄像机 O’
2019/11/21
R,
4
三维重建
• 深度测量(measurement)
获取物体(object)或场景(scene)的深度信息 主动传感器(active sensor)->range data 被动传感器(passive sensor)->image
状 例：超椭球
s2
(
x
)
2 s2
(
y
)
2 s2

s1
2
( z ) s1
1
rx
ry
rz
2019/11/21
15
2.基于深度图的表面拟合
• 根据深度测量值获得连续表面 1. 表面插值(interpolation) 通过所有测量点 2. 表面逼近(approximation) 不一定包含，但尽可能接近测量点 回归(regression)
12
1.2 曲面片
• 用双多项式表示曲面
平面：z=a0+a1x+a2y 双线性曲面片：z=a0+a1x+a2y+a3xy 双二次曲面片：z=a0+a1x+a2y+a3xy+a4x2+a5y2 双三次曲面片：z=a0+a1x+a2y+a3xy+a4x2+a5y2
+a6x3+a7x2y+a8xy2+a9y3 双四次曲面片：z=a0+a1x+a2y+a3xy+a4x2+a5y2
+a6x3+a7x2y+a8xy2+a9y3 +a10x4+a11x3y+a12x2y2+a13xy3+a14y4
2019/11/21
13
1.3 张量积曲面
• 复杂曲面的参数多项式
a0
v3
p(u,v) u3
u2
u1
a1

a
2

b0
b1
b2
b3
v
2
Delaunay边
定义2：假设E中的一条边e（两个端点为a,b），e若满足下列条件， 则称之为Delaunay边： 存在一个圆经过a,b两点，圆内不含点集V中任何的点，这一特性又称 空圆特性。
Delaunay三角剖分
定义3：如果点集V的一个三角剖分T只包含Delaunay边，那么该三 角剖分称为Delaunay三角剖分。
2019/11/21
18
Delaunay triangulation
• Delaunay三角剖分，由于其独 特性，关于点集的很多种几何图 都和Delaunay三角剖分相关， 如Voronoi图，EMST树， Gabriel图等.
• Delaunay三角剖分有几个很好 的特性： 1.最大化最小角，“最接近于规 则化的“的三角网. 2.唯一性（任意四点不能共圆）.
2019/11/21
6
1.表面重建
• 多边形网面 • 曲面片 • 张量积曲面 • 超二次曲面
2019/11/21
7
1.1多边形网面
• 用平面多边形（也称平面片，planar patch)组成多边 形网面模型（polygon mesh model），表示物体三 维形状．
2019/11/21
8
三角形网面和四边形网面示意图