： ， 男， 山东潍坊人 ， 作者简介 ： 邓念晨 （ 硕士研究生 ， 研究方向为计算机图形学 ． ９ ９ ０—） Ｅ－ｍ ａ ｉ ｌ ｄ ｅ ｎ ｎ ｉ ａ ｎ ｃ ｈ ｅ ｎ ｔ ｕ． ｅ ｄ ｕ． ｃ ｎ １ ＠ｓ ｇ ｊ ： ， 杨旭波 （ 男， 教授 ， 联系人 ） ａ ｉ ｌ ａ ｎ ｘ ｕ ｂ ｏ ｔ ｕ． ｅ ｄ ｕ． ｃ ｎ Ｅ－ｍ ＠ｓ ｙ ｇ ｊ
层次则完全构建模型网格表面， 不受任何假设的 限 制 ，用 于 对 物 体 或 场 景 精 确 建 模 以 便 重 现
第４ １卷 第４期 ０ １ ５年８月 ２
东华大学学报 （ 自然科学版 ）
Ｊ ＯＵＲ ＮＡ Ｌ Ｏ Ｆ Ｄ ＯＮＧＨＵＡ ＵＮ Ｉ Ｖ Ｅ Ｒ Ｓ Ｉ Ｔ Ｙ（ ＮＡ ＴＵＲ Ａ Ｌ Ｓ Ｃ Ｉ Ｅ Ｎ Ｃ Ｅ）
Ｖ ｏ ｌ ． ４ １，Ｎ ｏ ． ４ ． Ａ ｕ ２ ０ １ ５ ｇ
（ ） ６ ７ １－０ ４ ４ ４ ２ ０ １ ５ ４－０ ４ ４ ８－０ ７ １ ０ 文章编号 ：
， ， ） （ ｃ ｈ ｏ ｏ ｌ ｏ ｆ Ｓ ｏ ｆ ｔ ｗ ａ ｒ ｅ Ｓ ｈ ａ ｎ ｈ ａ ｉ Ｊ ｉ ａ ｏ ｔ ｏ ｎ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ Ｓ ｈ ａ ｎ ｈ ａ ｉ ２ ０ ０ ２ ４ ０， Ｃ ｈ ｉ ｎ ａ Ｓ ｇ ｇ ｙ ｇ
：Ｍ Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ ｕ ｌ ｔ ｉ ｌ ｅ Ｋ ｉ ｎ ｅ ｃ ｔ ｄ ｅ ｖ ｉ ｃ ｅ ｓ ａ ｒ ｅ ｕ ｓ ｅ ｄ ｔ ｏ ｃ ａ ｔ ｕ ｒ ｅ ａ ｓ ｃ ｅ ｎ ｅ ｆ ｒ ｏ ｍ ｄ ｉ ｆ ｆ ｅ ｒ ｅ ｎ ｔ ｖ ｉ ｅ ｗ ｓ ａ ｔ ｔ ｈ ｅ ｓ ａ ｍ ｅ ｔ ｉ ｍ ｅ ． Ｄ ｅ ｔ ｈ ｐ ｐ ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｍ ａ ｉ ｎ ｌ ｉ ｎ ｃ ｌ ｕ ｄ ｅ ｓ ａ ｎ ｄ Ｒ Ｇ Ｂ ｉ ｍ ａ ｅ ｓ ｏ ｆ ｔ ｈ ｅ ｓ ｃ ｅ ｎ ｅ ａ ｒ ｅ ｃ ｏ ｍ ｂ ｉ ｎ ｅ ｄ ｔ ｏ ｍ ｏ ｄ ｅ ｌ ｔ ｈ ｅ ｓ ｃ ｅ ｎ ｅ ． Ｔ ｈ ｅ ｒ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ ｐ ｙ ｇ ， ， ｒ ｏ ｃ ｅ ｓ ｓ ｅ ｓ ｒ ｅ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｖ ｅ ｒ ｔ ｅ ｘ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ ｏ ｉ ｎ ｔ ｃ ｌ ｏ ｕ ｄ ｓ ｒ ｅ ｉ ｓ ｔ ｒ ａ ｔ ｉ ｏ ｎ ａ ｎ ｄ ｓ ｕ ｒ ｆ ａ ｃ ｅ ｒ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ． Ａ ｌ ｌ ｄ ａ ｔ ａ ｐ ｐ ｐ ｇ ｐ ｇ ａ ｒ ｅ Ｇ Ｐ Ｕ ｉ ｍ ｌ ｅ ｍ ｅ ｎ ｔ ｅ ｄ ｔ ｏ ｓ ｅ ｅ ｄ ｕ ｔ ｈ ｅ ｃ ａ ｌ ｃ ｕ ｌ ａ ｔ ｉ ｎ ．Ｋ ｅ ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｓ ｉ ｍ ｌ ｅ ｍ ｅ ｎ ｔ ｅ ｄ ｉ ｎ ｔ ｈ ｉ ｓ ｓ ｕ ｂ ｅ ｃ ｔ ｉ ｎ ｃ ｌ ｕ ｄ ｅ ｐ ｐ ｐ ｇ ｙ ｇ ｐ ｊ ， ， ｏ ｉ ｎ ｔ ｂ ａ ｓ ｅ ｄ ｏ ｎ Ｇ Ｐ Ｕ ｏ ｃ ｔ ｒ ｅ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ ｂ ａ ｓ ｅ ｄ ｏ ｎ Ｇ Ｐ Ｕ ｓ ｕ ｒ ｆ ａ ｃ ｅ ｒ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ ｂ ａ ｓ ｅ ｄ ｏ ｎ ｉ ｔ ｅ ｒ ａ ｔ ｉ ｖ ｅ ｃ ｌ ｏ ｓ ｅ ｓ ｔ ｐ ／ ｔ ｈ ｅ ｓ ｉ ｎ ｅ ｄ ｄ ｉ ｓ ｔ ａ ｎ ｃ ｅ ｆ ｕ ｎ ｃ ｔ ｉ ｏ ｎ． Ｅ ｘ ｅ ｒ ｉ ｍ ｅ ｎ ｔ ａ ｌ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｓ ｈ ｏ ｗ ｔ ｈ ａ ｔ ｔ ｈ ｅ ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｅ ｆ ｆ ｉ ｃ ｉ ｅ ｎ ｃ ｒ ｅ ａ ｃ ｈ ｅ ｓ ８． ７ ４ｆ ｓ ａ ｎ ｄ ｇ ｐ ｇ ｙ ， ｔ ｈ ｅ ｒ ｅ ｓ ｏ ｌ ｕ ｔ ｉ ｏ ｎ ｏ ｆ ｍ ｏ ｄ ｅ ｌ ｓ ｒ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｅ ｄ ａ ｒ ｅ ａ ｂ ｏ ｕ ｔ ５． ９ ｍｍ．Ｔ ｈ ｅ ｅ ｘ ｅ ｒ ｉ ｍ ｅ ｎ ｔ ａ ｌ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｒ ｏ ｖ ｅ ｔ ｈ ａ ｔ ｔ ｈ ｅ ｐ ｐ ｔ ｒ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｍ ｌ ｅ ｍ ｅ ｎ ｔ ｅ ｄ ｍ ｅ ｅ ｔ ｓ ｔ ｈ ｅ ｒ ｅ ｕ ｉ ｒ ｅ ｍ ｅ ｎ ｔ ｓ ｏ ｆ ｔ ｈ ｅ ｒ ｅ ａ ｌ ｉ ｍ ｅ ｄ ｎ ａ ｍ ｉ ｃ ｓ ｃ ｅ ｎ ｅ ｒ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ － ｐ ｐ ｑ ｙ ｅ ｘ ａ ｃ ｔ ｃ ａ ｌ ｃ ｕ ｌ ａ ｔ ｉ ｏ ｎ ａ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ． ａ ｎ ｄ ｔ ｈ ｅ ｒ ｅ ｃ ｉ ｓ ｉ ｏ ｎ ｏ ｆ ｒ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｅ ｄ ｍ ｏ ｄ ｅ ｌ ｓ ｍ ｅ ｅ ｔ ｓ ｔ ｈ ｅ ｎ ｅ ｅ ｄ ｏ ｆ ｎ ｏ ｎ － ｐ ｐ ｐ ： ； ； ； Ｋ ｅ ｗ ｏ ｒ ｄ ｓ ３ Ｄ ｒ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ ｉ ｎ ｄ ｏ ｏ ｒ ｄ ｎ ａ ｍ ｉ ｃ ｓ ｃ ｅ ｎ ｅ ｍ ｕ ｌ ｔ ｉ ｌ ｅ Ｋ ｉ ｎ ｅ ｃ ｔ ｄ ｅ ｖ ｉ ｃ ｅ ｓ ｉ ｔ ｅ ｒ ａ ｔ ｉ ｖ ｅ ｃ ｌ ｏ ｓ ｅ ｓ ｔ ｏ ｉ ｎ ｔ ｙ ｐ ｐ ｙ ；Ｍ ｏ ｒ ｅ ｉ ｓ ｔ ｒ ａ ｔ ｉ ｏ ｎ ａ ｒ ｃ ｈ ｉ ｎ Ｃ ｕ ｂ ｅ ｓ ａ ｌ ｒ ｉ ｔ ｈ ｍ ｇ ｇ ｇ
多Ｋ ｉ ｎ ｅ ｃ ｔ实时室内动态场景三维重建
邓念晨 ，杨旭波
（ ） 上海交通大学 软件学院 ， 上海 ２ ０ ０ ２ ４ ０ 摘要 ：采 用 多 个 Ｋ 将它们的深度图和彩色图结合在一起， 通过数 ｉ ｎ ｅ ｃ ｔ从 不 同 角 度 同 时 捕 获 场 景 ， 据预 处 理 、 顶点构建、 点云注册和表面重建等步骤得到场景三维模型． 整个流程均在 Ｇ Ｐ Ｕ 上实现 以加速运算， 实现了基于 Ｇ 基于 Ｇ 基于有向距离函数 Ｐ Ｕ 的迭代最近点算法、 Ｐ Ｕ 的八叉树构建、 ／ ； 重 建 分 辨 率 达 到 约 ５． 的表面重建等关键算法． 试验中， 整 个 算 法 运 行 帧 率 达 到 ８． ７ ４ｆ ｓ ９ ｍｍ． 试验表明， 算法基本满足实 时 动 态 场 景 重 建 的 要 求， 重建模型的精度满足非精确计算类应用的 需求． 迭代最近点配准 ； 关键词 ：三维重建 ； 室内动态场景 ； 多Ｋ ｉ ｎ ｅ ｃ ｔ设备 ； ａ ｒ ｃ ｈ ｉ ｎ Ｃ ｕ ｂ ｅ ｓ算法 Ｍ ｇ 中图分类号 ： Ｐ ３ ９ １ 文献标志码 ：Ａ Ｔ
于深 度 数 据 的 ． 基于纹理数据的方法具有硬件成本 低廉 的 优 势 ， 但物体表面的纹理本身受环境光影响 而且重建 过 程 包 含 大 量 经 验 和 假 设， 一般情 较大 ， 况下的重 建 精 度 往 往 不 能 满 足 要 求． 而基于深度 稳 定， 易于推广 数据的三 维 重 建 方 法 更 为 简 单、 根据 重 建 模 型 的 抽 象 等 级， 三维重建技术 应用．
收稿日期 ： ０ １ ４－１ １－１ ４ ２ ） 基金项目 ： 国家自然科学基金资助项目 （ ６ １ １ ７ ３ １ ０ ５， ６ １ ３ ７ ３ ０ ８ ５
活领域的推广应用 ． 因此 ， 基于廉价设备的实时场 景 三维重建技术 具 有 巨 大 的 研 究 意 义 和 应 用 价 值 ． 本 文以远程协作应用为背景 ， 采用 Ｋ ｉ ｎ ｅ ｃ ｔ设 备捕获场 景数据 ， 研究如 何 实 时 重 建 满 足 一 般 用 户 视 觉 精 度 要求的场景模型 ． 人们对三维重建技术的研究已达数十年， 也提
４］ ： 可以分为３个 层 次［ 高层次关注的是一种或者 ８］ ； 一类物体， 主 要 用 于 物 体 识 别［ 中层次使用基 １］ ； 本几何图 元 构 建 模 型， 主 要 用 于 物 体 分 割［ 低
图 １ 硬件系统布局示意图 Ｆ ｉ ． １ Ｈ ａ ｒ ｄ ｗ ａ ｒ ｅ ｓ ｓ ｔ ｅ ｍ ｌａ ｏ ｕ ｔ ｇ ｙ ｙ
通 场景三维 重 建 技 术 是 利 用 传 感 器 和 计 算 机 ， 过对场景的纹 理 、 深度等元数据进行分析和处理后 自动 （ 或半自动 ） 地构建场景的三维模型 ． 目前 ， 场景 重建技术在工 业 模 拟 、 智能机器人等诸多方面都发 挥着十分重要的作用 ． 然而 ， 较长的计算时间和昂贵 的设备极大地阻碍了这一技术在协作办公和日常生
包括对所有 Ｋ 对所有 ｉ ｎ ｅ ｃ ｔ设备分别进行内参标定 ， 内参和外参标定均 Ｋ ｉ ｎ ｅ ｃ ｔ设备统一进 行 外 参 标 定 ． 采用棋盘格标定法 ． １． ２ 算法流程概览 实时动态场景重建算法的主要流程为获取数 据 （ 、 深度数据和纹理色彩数据等 ） 对数据进行预处理 、 根据深度数据构建三维点云 、 对多组点云进行注册 、 从点云构建网格表面 ， 具体如下所述 ． （ ）对数 据 进 行 预 处 理 ． 从传感器获取的数据 １ 因此 ， 需要对原始 存在一定的噪声和误差分布特性 ， 的深度数据进 行 特 殊 的 预 处 理 以 降 低 噪 声 的 干 扰 ， 从原始数据的层面减少误差 ． （ ）根据 深 度 数 据 构 建 三 维 点 云 ． 对于每个传 ２ 感器获得的深 度 数 据 和 彩 色 图 像 数 据 ， 根据传感器 的内参和外参 信 息 计 算 点 云 中 各 点 的 三 维 坐 标 、 颜 这时将它们可视化已经可以看出一定 色和法向量 ． 但是由于基于棋盘格的外参标定并不 的重建效果 ， 十分精确 ， 从结 构 和 纹 理 上 可 以 看 出 多 组 点 云 并 不 能完全匹配 ． （ ）对多 组 点 云 进 行 配 准 ． 旨在减小多组点云 ３ 之间存在的变换偏差 ． 许多有关三维重建的研究 （ 例 ）都 使 用 迭 代 最 近 点 配 准 算 法 如文 献 ［ ５，１ １］ ［ １ ４］ （ 本文亦在该算法基础上提出了改进方案 ． Ｉ Ｃ Ｐ） ， （ 从三维点云中构建 ４）从 点 云 构 建 网 格 表 面 ． 较为完整的表 面 网 格 模 型， 具体涉及基于 Ｇ Ｐ Ｕ的 有向距离函数计算和三角面片生成等 八叉树构建、 算法．