基于图像的三维建模技术综述
1999 基于数据库 交互建模 2004 2006
Blanz Mao Muller
基于人脸数据库 基于人体数据库 基于建筑元素数据库
重庆科技学院
电气与信息工程学院
测控技术与仪器
交互法 避免建模过程的发散
依赖客户
优点
通用性较高
缺点
依赖交互操作
商业建模软件的核心 Autodesk ImageModeler;Google Sketchup
映射 二维图像点 三维空间点
重庆科技学院
电气与信息工程学院
测控技术与仪器
1997 基于灭点 与几何约束 1999 2000
Horry Cipolla Criminisi
基于单张相片的漫游 灭点求取相机参数 单目度量技术
只能处理一些比较规则的平面与几何体
重庆科技学院
电气与信息工程学院
测控技术与仪器
基于复杂信息 直接使用交互的手段,给图像中的像素设置复杂 的深度、法向等信息,从而恢复得到三维模型。 交互建模
重庆科技学院
电气与信息工程学院
测控技术与仪器
基本分类
基于图像的建模
基于图像的建模能够生成物体精确的三维几何模型, 根据图像采集时对光源是否进行主动控制,基于图像的几 何建模可以分为主动法与被动法2 种。
基于图像的建模
主动法
被动法
重庆科技学院
电气与信息工程学院
测控技术与仪器
基本分类 主动法
激光扫描法 优点
重庆科技学院
电气与信息工程学院
测控技术与仪器
1976 Bajesy 傅里叶变换 1990 Brown 等方性纹理重建
存在过约束 实用性较差
1992 Garding 理论联系纹理梯度与表面曲面 谱分析法 1993 2002 2005 Malik Clerc Loh 仿射变换重建 小波分解 仅适用于纹理单元 结构不发生改变
1999
相机内参数自动定标
Pollefeyes
射影层次重建升级为 度量层次的重建
电气与信息工程学院 测控技术与仪器
相机焦距改变情况下
重庆科技学院
不需预先标定 相机的参数, 从而降低了对 图像采集过程 实用价值高 的限制
运动法
优点
缺点
建模精度较低
对光照条件 图像噪声具有 鲁棒性高 鲁棒性
应用于室外场景、 自然景观、建筑物等 的三维建模。
重庆科技学院 电气与信息工程学院 测控技术与仪器
1997
Seitz
体素颜色法
2000 1999
Kutulakos Culbertson
空间雕刻法 通用体素颜色法
2003
1998
重庆科技学院
Cheung
Faugeras
搜索空间由三维降至一维
水平集的局部优化
电气与信息工程学院 测控技术与仪器
逆向法
在图像中搜索满足亮度一致性的匹配点,使用立体视觉的 三角测量原理,由这些特征点反算其对应的三维点位置。
电气与信息工程学院
测控技术与仪器
实现方法
轮廓法 运动法 亮度法
明暗法
实现方法
变焦法
纹理法
交互法
重庆科技学院
电气与信息工程学院
测控技术与仪器
实现方法
轮廓法:
基于轮廓的建模(shape from silhouettes/contours)通 过分析物体多视角下的轮廓图像(contour)或侧影轮廓线 (silhouette),得到物体的三维模型。
Tarini Marching Intersection 结构
电气与信息工程学院
Franco
八叉树 数据结构
兼顾速度 与精度
重庆科技学院
测控技术与仪器
2001
Matusik
多边形逼近侧影轮廓线 消除锯齿现象
2000
Snow
背景减除算子实现亮度图像建模
2004 2006
重庆科技学院
Sinha 从未定标图像中生成三维可视壳 Forbes
透视投影下的表面重建
2006 Forsyth 正交投影下的表面重建
重庆科技学院 电气与信息工程学院
纹理单元 拓扑改变
测控技术与仪器
纹理法 建模精度对 光照、噪声不敏感、 鲁棒性强的优势
优点
缺点
通用性较低
与明暗法 在数学上是等价的 基于不同的理论依据
重庆科技学院
电气与信息工程学院
测控技术与仪器
实现方法
重庆科技学院
电气与信息工程学院
测控技术与仪器
重庆科技学院
电气与信息工程学院
测控技术与仪器
基本分类 1、传统的三维建模技术
传统的三维建模主要使用基于几何造型的建模方法,由专 业美术人员通过使用几何造型软件(如AutoCAD,3DsMax, Maya等),运用计算机图形学与美术理论,创建出物体的三维 模型。
测控技术与仪器
变焦法 物体表面的几何细节
操作复杂
优点
对光照条件不苛刻
缺点
建模效果差
在采集图像的过程中 改变相机的 焦距、光圈等设置
重庆科技学院
电气与信息工程学院
测控技术与仪器
实现方法
交互法:
基于交互的建模方法(shape from interaction)通过引 入少量的用户交互,为建模算法提供数据与约束信息,可以 方便、快捷、鲁棒地生成较精确的三维模型。 这种方法结合了传统手动建模与基于图像自动建模的优 势,实用性较强。
电气与信息工程学院 测控技术与仪器
失焦法
重庆科技学院
聚焦法
2000 1998
Yun
动态规划的优化方法 频域法
Watanabe
失焦法
1999 Rajagopalan 统计法
2005 Favaro 空域法
2007
2009
Pradeep Hasinoff
利用失焦形成的模糊 共焦立体视觉法
重庆科技学院
电气与信息工程学院
重庆科技学院
电气与信息工程学院
测控技术与仪器
1992
Tomasi
因式分解
射影重建
1992
Faugeras
几何约束
仿射、度量与欧氏层次的重建
重庆科技学院 电气与信息工程学院 测控技术与仪器
内部参数不变情况下 1997 Hartley
Kurppa方程 与SVD分解标
一般物体的重建, 需要知道相机的内部参数。
基于立体视觉的建模 由于匹配点的搜索是一个高自由度的问题,简单的搜 索方法极易陷入局部最优,这将极大地影响重建效果。因 此,逆向法主要需解决匹配特征点的高效搜索问题。 搜索的空间由二维降低到一维 图像间极线的对应关系
重庆科技学院 电气与信息工程学院
极线几何约束 图像校正
测控技术与仪器
单点比较
点匹配 窗口比较
鲁棒性差 精确性差 (窗口形状、大小)
1998
重庆科技学院
Boykov
基于图割的全局优化 (添加平滑性约束)
电气与信息工程学院 测控技术与仪器
亮度法
亮度信息 无手工交互 没有严格的 光照条件要求 灵活性低 建模精度高
优点
缺点
鲁棒性低
全自动
复杂性高
应用于文物数字化、 人脸自动建模
重庆科技学院
电气与信息工程学院
重庆科技学院 电气与信息工程学院 测控技术与仪器
正向法
对物体所在的三维空间进行均匀采样,将各采样点投影到 所有可见的二维图像中,若其投影满足亮度一致性,则说明该 三维点属于物体表面,将其保留,否则,将其剔除。 基于图像一致性的重建
图像壳(photo hull) (物体的三维采样表示) 三维模型
由于采样点在投影过程中存在的互相遮挡现象会破坏 亮度一致性的判断,因此,正向法主要需解决遮挡问题。
重庆科技学院
电气与信息工程学院
测控技术与仪器
基本分类 2、非传统的三维建模技术
三维漫游效果
三维全景漫游是指在由全景图像构建的全景空间里进 行切换,达到浏览各个不同场景的目的。 目前,实现三维全景漫游的技术有两种,一是在三维 全景或地图中添加其他三维全景的链接。第二种方法是采 用计算机视觉技术和计算机图形图像技术,获取全景图像 对应的环境模型,实现全景空间与真实环境的一一映射。
重庆科技学院
电气与信息工程学院
测控技术与仪器
应用
工业设计
传统应用方向
2 3 影视制作
文物保存
1
Cycle
4 游戏娱乐
医疗康复
重庆科技学院
5
电气与信息工程学院
电气与信息工程学院 测控技术与仪器
建模速度快
鲁棒性高 复杂性低 效率最高
轮廓法
输入源要求高
优点
缺点
精度低 物体大致的 三维轮廓 与拓扑
通用性好 透明、 纹理欠缺、 特征点较少 的物体的建模
重庆科技学院
应用于人机交互、 运动跟踪
电气与信息工程学院
测控技术与仪器
实现方法
亮度法:
基于亮度的建模(shape from illumination)通过分析物体 多个视角下图像中亮度特征的一致性关系,恢复出其表面的深 度信息,并得到其三维几何模型。 亮 度 亮 一 Concept 度 致 一 性 致 算 性 对于满足 子 朗伯表面假设 颜色绝对差值算子 的物体,不论光源方向如何, 误差平方和算子 相同的表面点从任何方向观 归一化互相关算子 察都具有同样的亮度 特殊算子(特殊物体)
1999
Woodham
重庆科技学院
电气与信息工程学院
测控技术与仪器
1975
Horn
明暗度方程 (二维图像中各像素明暗度)
1993