Object-centered surface reconstruction: Combining multi-image stereo and shading, P. Fua, Y. Leclerc, International Journal of Computer Vision, vol. 16:35-56, 1995.
2.2 动态场景三维重建方法
国内外研究现状
静态三维重建


-57-
三维激光扫描仪 昂贵、耗时、被扫描者需在扫描期间保持静止不动 由 X 恢复形状（Shape from X） 由阴影恢复形状（Shape from shading） 由轮廓恢复形状（Shape from silhouette） 由立体匹配恢复形状（Shape from stereo）
多摄像机系统的颜色校准
目标 单相机
调整颜色响应，与标准颜色空间建立已知关系
-37-
多相机
保证相机之间的颜色一致性
方法

硬件调整(PAMI07) 后处理(IMT07)

二者兼有(ICCV05)
大规模摄像机阵列的颜色校准
从单相机到多相机 场景统计(RingCam)
-50-
实验结果——平面系统
-51-
-52-
实验结果——非平面系统
-53-
实验结果——非平面系统
-54-
实验结果——非平面系统
-55-
第五讲提纲
一 二
-56-
多视角立体方法概述
多视角视频重建动态三维场景
2.1 多摄像机系统的几何和颜色校准 2.2 动态场景三维重建方法
2.3 动态场景高帧率三维重建


i
k

对于全局对应em中的所有相关相机，有
线性方程组的建立
动态范围整形
计算每个全局对应的平均值 将所有全局对应的平均值以升序排列 选择排序后的前t%和后t%个全局对应作为黑水平集合 水平集合 对于

-45-
和白
线性方程组的建立
相机参数设置 Point Grey Flea2 相机
/likun.jsp
多摄像机系统的几何校准
J H1 P1 H1 1 Q1 Q J PQ W 1 J H I H I PI
Variational principles, surface evolution, PDE's, level set methods and the stereo problem, O. Faugeras and R. Keriven, IEEE Trans. on Image Processing, 7(3):336-344, 1998.
早期的算法：

Representing stereo data with the Delaunay triangulation, O. Faugeras et al., Artificial Intelligence, 44(1-2):41-87, 1990. A multiple-baseline stereo, M. Okutomi and T. Kanade, TPAMI, 15(4):353-363, 1993.
Domain Series Domain VIII Crouching 1999 Mild steel bar 81 x 59 x 63 cm
应用：结构设计
-6-
应用：三维检索
-7-
? ??
? ?
?
?
?
?
应用：大尺度建模
-8-
[Furukawa10]
[Pollefeys08]
[Cornelis08]
-24-
图像获取、摄像机位姿 图像获取
建立图像间的 摄像机位姿 三维一致性对应
由三维一致性对应 三维重建 重建三维物体
三维重建 = 三维分割
三维点的图像一致性对应
一致的点
-25-

三维点的图像一致性对应
不一致的点
-26-

三维点的图像一致性对应
-27-
图像一致性的挑战
• 摄像机可见性
-28-

线性拟合 3×4变换

迭代闭环方法(Ilie等)
仅适用于平面摄像机阵列系统
大规模摄像机阵列的颜色校准
对于非平面系统 多视角立体 + 校准(PAMI07) Yamamoto等(IMT07)

-40-
非硬件调整 人工参与
大规模摄像机阵列的颜色校准
本课题方法 设计一种新的全向颜色校准物 全自动、不需要人工参与 精确建立全局对应关系 将问题转化为线性方程组求解 保证所有相机间的颜色一致性 通过动态范围整形保证采集图像的高对比度 软硬件迭代求解，减小误差，提高求解精度
线性方程组的建立
相机间颜色一致性 g I b g I b
k k
m m
-44-
k
i m
i i
i
Nm
m { i }1i Nm
I m 1 1 m i 1 g I b g b 0 k k k i i N N N m m m i m
-14-
有纹理
刚性
可变形
无纹理
多视角立体方法
多视角立体方法是:


-15-
实用的 快速的 无需外界介入的 低成本 容易扩展到室外 低精度 结果依赖于材质
多视角立体框架
-16-
图像获取
摄像机位姿
三维重建
图像获取
• 工作室
可控环境
-17-
• 不可控环境
手持设备 未知光照
• 互联网
深度图融合 局部
[Bradley08] [Strecha06] [Pollefeys08] [Kolmogorov02]
全局
[Kolev08] [Campbell08] [Vogiatzis07] [Hernandez04]
最灵活的算法
区域增长
从一组点云开始，通过最大化图像 间的一致性增长小的平面块
-41-
全新全向颜色校准物
-42-
一张具有朗伯反射表面的硬纸 160 (8×20) 色块


6 cm × 6 cm 方块 H: 6 cm; V: 3cm
全局对应的建立
SIFT局部描述子 + 基于区域的相关性
-43-
将成对的匹配串成全局对应
E {em }1mM
m em {( i , P i )} 1i Nm
-32-
深度图融合
通过对遮挡鲁棒的图像一致性方法计 算深度图，融合所有深度图
特 点 优 点 缺 点
基于平面的图像一致性提供了最好 的总体结果 许多可调的参数，即很难调至最优 结果
灵活的框架 容易参数化 图像一致性准则简单，不是最优的。 当图像纹理较少或分辨率低时，准则 不适用。
第五讲提纲
一 二
-33-
未知内容
• 视频
帧间运动小 数据量大
工作室图像获取
-18-
室外图像获取
-19-
互联网图像获取
-20-
...
视频图像获取
-21-
多视角立体框架
-22-
图像获取
摄像机位姿
三维重建
摄像机位姿
• 机器臂
-23-
小场景
• 标记 • 由运动恢复形状 (SfM)
大场景 • 从无序图片中恢复形状
多视角立体框架
[Goesele07]
扫描技术
激光扫描仪，坐标测量仪 非常精确 非常昂贵 运用复杂
-9-
Minolta
―Michelangelo‖ project
Contura CMM
扫描技术
结构光
-10-
[Zhang02]多视角立来自方法给定同样的材质、视角和光照，估计一个可以
产生与输入图像相同效果的三维模型
• 比较法则失效
–重复的纹理
–缺少纹理
–镜面反射
多视角立体方法
比较与评测：

-29-
A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms, S. Seitz et al., CVPR 2006, vol. 1, pages 519-526.
-36-
某些元素空缺

分组方法

以每个摄像机为顶点，以边相连，边的权重为所连两摄像机之间的公共姿态数
解决方法：合理分组

分组条件
每组中任意两摄像机的权重需大于或等于t
不同组间的i对相邻摄像机中有多于i-1对的权重大于或等于t
分组的数目i越小越好 分为i组时的最优分法对应的值 应该最大
多视角立体方法概述
多视角视频重建动态三维场景
2.1 多摄像机系统的几何和颜色校准 2.2 动态场景三维重建方法
2.3 动态场景高帧率三维重建
硬件系统设计及校准
MVML(多光照多相机)采集系统，实现动 态光场的可控采样
直径６米 40个相机 600个LED 颜色校准物
-34-
-35-
数据库发布
多视角视频数据发布
-1-
计算摄像学专题第七讲
—— 多视角立体动态三维重建 戴琼海 李坤 清华大学 自动化系
第五讲提纲
一
-2-
多视角立体方法概述
多视角视频重建动态三维场景
2.1 多摄像机系统的几何和颜色校准 2.2 动态场景三维重建方法 2.3 动态场景高帧率三维重建