西安邮电大学
毕 业 设 计（论 文）
题 目：双目立体视觉中的三维重建
系 别： 自动化学院
专 业： 测控技术与仪器
班 级： 测控0802班
学生姓名： 吕海斌（07）
导师姓名： 江祥奎 职称： 讲师
起止时间：2012年 3月8日 至 2012年 6月20
双目立体视觉中的三维重建
诚信声明书
本人声明：我将提交的毕业论文《双目立体视觉中的三维重建》是我在指导教师指导下独立研究、写作的成果，论文中所引用他人的无论以何种方式发布的文字、研究成果，均在论文中加以说明：有关教师、同学和其他人员对本文的写作、修订提出过并为我再论文中加以采纳的意见、建议，均已在我的致谢中加以说明并深致谢意。
论文作者 吕海斌 时间： 2012年 6 月 7 日
指导教师已阅 时间： 年 月 日
双目立体视觉中的三维重建
西 安 邮 电 大 学
毕业设计(论文)任务书
学生姓名 吕海斌 指导教师 江祥奎 职称 讲师
院别 自动化学院 专业 测控0802
题目 双目立体视觉中的三维重建
任务与要求
本题目要求在搭建双目立体视觉平台的基础上，通过OpenGL和MATLAB联合编程实现三维重建功能。具体任务分解如下：
1．查找文献，学习和掌握三维重建方法；
2．完成三维重建的MATLAB编程，并对实验数据进行相关分析；
3．通过OpenGL，实例编程实现三维重建；
4．通过OpenGL和MATLAB联合编程，完成三维重建；
开始日期 2011年12月10日 完成日期 2012年6月25日
院长(签字) 2012 年 12 月 日
双目立体视觉中的三维重建
西 安 邮 电 大 学
毕 业 设 计 (论文) 工 作 计 划
学生姓名__吕海斌_指导教师__江祥奎__职称__讲师_
院别____自动化学院____专业____测控0802___
题目_____ 双目立体视觉中的三维重建
工作进程
12月10日----12月31日 查阅相关资料，熟悉题目要求，
学习和掌握三维重建。
1月1日---2月26日 搭建双目立体视觉平台，在此基础上实现三维重建功能。
2月27日---3月9日 学习和掌握基于OpenGL的三维重建
3月10日---5月15日 通过实例编程实现基于OpenGL的三维重建。
5月15日---6月9 日 完成实验数据的数学分析和总结。
6月10日—6月25日 撰写毕业论文，准备答辩。
起 止 时 间 工 作 内 容 双目立体视觉中的三维重建
主要参考书目(资料)
主要参考书目（资料）
[1] Richard Hartley, Andrew Zisseran著，韦穗，杨尚骏, 章权兵，等译.计算机视觉中的多视图几何[M].合肥：安徽大学出版社,2002.
[2] 张广军.机器视觉[M]. 北京：科学出版社,2005.
[3] 吴福朝.计算机视觉中的数学方法[M].北京:科学出版社,2008.
[4] 李玲.基于双目立体视觉的计算机三维重建方法研究.[D].武汉大学,2005.
主要仪器设备及材料
1. PC计算机一台
2. 局域网网络环境
3. OpenGL和MATLAB语言开发环境。
论文(设计)过程中教师的指导安排
1. 每周定时交流和集中答疑；
2. 有问题及时E-mail联络；
3. 定期解答讨论群的提问。
对计划的说明
双目立体视觉中的三维重建
西安邮电大学
毕业设计(论文)开题报告
自动化 学院 测控技术与仪器 专业 2008 级 02 班
课题名称： 双目立体视觉中的三维重建
学生姓名： 吕海斌 学号： 06082042
指导教师： 江祥奎
报告日期： 2012年3月18日
双目立体视觉中的三维重建
1. 本课题所涉及的问题及应用现状综述
1.1涉及的问题
双目立体视觉方法采用两台摄像机模拟人类双眼处理景物的方式，从两个视点观察同一场景，获得不同视角下的一对图像，然后通过左右图像间的匹配点，恢复出场景中目标物体的几何形状和位置等三维信息。该项技术在机器人视觉、车辆自主驾驶、多自由度机械装置控制、非接触自动在线检测等领域均具有很大的应用价值。
三维重建一直是计算机视觉的重要研究领域之一。近年来，三维重建技术的研究取得了巨大的进步，新技术新方法不断涌现。常用的三维重建方法主要有运动图像序列法、光度立体学方法、纹理恢复形状法和立体视觉方法等。各种三维重建方法的理论基础不同，在精度、尺寸以及系统价位等方面存在一定的差异，因此适用的应用领域也不尽相同。立体视觉法由于不需要人为的设置辐射源，只利用场景在自然光照条件下的二维图像来重建物体的三维信息，具有适应性强、实现手段灵活、造价低的优点，是目前研究最多、应用最广泛的技术之一。
1.2应用现状综述
1.2.1 国外研究现状
国外对立体视觉的研究起步较早，发展速度快，应用面广。立体视觉的先决条件是要解决两幅图像匹配基元之间的对应关系即立体匹配，然后由三角测量原理求得景物的深度信息。根据约束方式的不同，M. Z. Brown把匹配算法分为两种，一种是对像素周围小区域进行约束的局部匹配方法，如灰度匹配法、特征匹配法、相位匹配法等;另一种是对扫描线甚至整个图像行约束的全局匹配方法。比较而言，特征匹配具有定位准确、稳定性强、匹配速度快等优点，是目前应用广泛的匹配方法之一，其中主要包括两个子问题:特征提取和特征匹配。
1)常用的匹配特征有点特征和线特征。线特征主要是指图像边缘。Haralick提出了用离散正交多项式对原始图像每一个像素的领域做最佳曲面拟合，在拟合曲面上求二阶方向导数的零交叉的方法。Mary-Hildretch提出的LOG算子边缘检测法是对原始图像用Gauss函数平滑，然后检测二阶差分的过零点。Canny在1986提出Canny最佳边缘检测算子。点特征主要有零交叉点、角点等。 双目立体视觉中的三维重建
2)特征匹配以灰度相似性为基础，辅以极线几何约束及其它约束进行搜索。Beardsley等提取角点作为特征点，运用相关性进行匹配，将匹配的结果用奇异值分解求取了基础矩阵。M. PiIu提出了一种基于奇异值分解的匹配方法，对包含特征点的Gaussian-weighted距离信息的强度矩阵G进行奇异值分解，通过同维矩阵P中各个元素的值就能判断出对应的特征点是否匹配。
在国外理论技术不断发展的同时，也出现了很多立体视觉系统。Bhanu提出了一个用于实际三维物体形状匹配的三维景物分析系统，系统的输入为深度图像。对物体的描述是数据驱动的，可自动计算，用户不必干预，不足之处在于太依赖于多边形面产生算法的输出一致性，使用的表面数目太大，先验假定条件比较苛刻，对深度数据的获取要求甚高。PMF系统是英国用立体视觉的局部视差度量产生一个从物体2.5维简图到物体三维表面描述以至实现物体识别的实时处理方法。Zisserman等完成的视觉导航系统利用了分层重建的思想，即首先对图像序列做射影重建，再将射影重建逐步提升到仿射重建和欧氏重建。另外一些系统分别应用于不同的任务场景，例如:Debevec, Taylor等完成了著名的建筑物重建系统Facade; HY . Shum等提出了一种人机交互式重建系统;Faugeras等的系统利用分层重建、自标定等方法从图像序列中重建出建筑物;Pollefeys等提出的物体表面自动生成系统运用可变内参数下的摄像机自标定技术等。
1.2.2 国内研究现状
国内在双目立体视觉的理论和算法实现方面也进行了大量的研究。ASVS系统是由北方交通大学信息科学研究所研制的采用立体视觉技术进行三维数据采集、摄像机标定、物体识别与定位系统。浙江大学机械系利用透视成像原理，采用双目视觉方法实现了对多自由度机械装置的动态精确位姿检测，仅需从两幅对应图像中抽取必要的特征点的三维坐标，信息量少，处理速度快，尤其适于动态情况。与手动系统相比，被测物的运动对摄像机没有影响，且不需知道被测物的运动先验知识和限制条件，有利于提高检测精度。 中国科学院自动化研究所研究的三维重建技术，采用自动关键点匹配、双目重建、表面三角化和三维点拼接技术，经过图像对提取，图像对关键点匹配，图像关键点的重建，三角化以及数据融合生成物体完整的三维结构，在完成重建后，可以从任意视点观察物体，具有立体视觉效果。
1.3 双目立体视觉研究存在的问题 双目立体视觉中的三维重建
立体视觉虽然经过20多年的发展，但是无论从视觉生理角度，还是从实际应用角度来看，现有的立体视觉技术还处于不成熟的阶段。这不仅仅涉及到技术上的原因，也是因为人类对自身视觉机制还不十分了解，至今人类对自身的视觉系统还没有研究清楚。计算机视觉的问题本质上都是逆问题，受到物体的几何特征、材料表面性质、颜色、环境光照及摄像机参数等许多因素的影响，问题往往都是非线性的，其解不具有唯一性，而对噪声或离散量化引起的误差极其敏感，所以计算机视觉本身存在一定的病态性。
基于立体视觉的三维重建技术在一些核心算法上仍然存在有待解决的问题。立体匹配中如何选择合理的匹配特征，从而克服匹配准确性与恢复视差全面性间的矛盾;如何选择有效的匹配准则和算法结构，从而解决存在灰度失真、几何畸变、噪声干扰及遮挡景物的匹配问题;如何建立更加有效的图像表达形式和立体视觉模型，从而更充分地反映景物的本质属性，为匹配提供更多的约束信息，降低立体匹配的难度。另外，虽然许多三维重建的实施方案和数学模型在理论上是比较完善的，但在实际应用中仍然受到很多限制，比如设备精密程度高、价格昂贵、处理过程复杂等，影响了工程中的应用。因此，如何既能获得较为满意的处理结果，又能简化操作过程，是目前三维重建研究工作的一个重要内容。
如何更好地利用软、硬件结合方法实现实际应用中的实时处理是目前急需解决的问题。在软件方面，通过合理的设计算法流程，减少冗余计算，使用适当的约束条件在通用平台上进行快速的立体视觉匹配。在硬件方面，利用专门的硬件实现算法加速，如数字信号处理器DSP，可重构器件FPGA以及一系列的专用芯片等。
参考文献
[1]刘篙鹤.基于双目立体视觉的安全车距测量技术研究[D].武汉武汉理工大学，2008.
[2]杜欲.用于导航的立体视觉系统[D].杭州:浙江大学，2003.
[3]邹凤娇.摄像机标定及相关技术研究[D].成都:四川大学.2005.
[4]陈西.摄像机标定与三维重建研究[D].北京:北京化工大学.2007.
[5]章毓晋.图像理解[M].北京:清华大学出版社，2007.
[6]张力，张祖勋，张剑清.Walks滤波在影像匹配中的应用[J]武汉测绘科技大学学报，1999, 24(1):221-237.