s
s s t
1
3 3 3
2 3
s t
the reconstructed surface the tetrahedron labeled as t
t (a)
t
t
t (b)
t
构网结果
2-Manifold Mesh模型
表面三角网的简化
• 基于半边数据结构和Edge Collapse算法简化
• 依据边的Collapse代价，最大限度的保持模型的几何形状，突出边缘信
SGM算法改进
2值CENSUS
3值CENSUS
和
SURE结果对比（下视影像）
我们的结果
SURE结果
和
SURE结果对比(下视影像）
我们的结果
SURE结果
和
SURE结果对比（倾斜影像）
我们的结果
SURE结果
PMVS算法加速
四、点云构网——Poisson算法
泊松表面重建算法是通过隐式曲面的重建来解决表面重建问 题，它具有全局调整和局部调整的优势。 Poisson重建 基于一个重要假设：实体表面的法向量 能够用 某一个指示函数的梯度 表示。 Poisson构网步骤：
• 点云数据存在噪声，图割法可以去掉离真实表面较远的噪声点，但离表
面较近的噪声被保留，四面体被优化标记后存在以下问题：
the reconstructed surface the tetrahedron the tetrahedron labeled as s labeled as t
s
s t
s s
t
采用多个方向的1D优化近似2D优化
Lr ( p, d ) C ( p, d ) min( Lr ( p r , d ), Lr ( p r , d 1) P 1, Lr ( p r , d 1) P 1 , min Lr ( p r , i ) P 2)
i
t s
t
s s
t
s s
t
s s
t
t s
t
s s
t
s s
t
s s
t
s s
point or line in which does not satisfy the half-edge data structure
Isolated tetrahedrons labeled as t that is not desired
Pi3
Pi1
Pi2
特征点检测
三个几何未知数 •高程1个 •法向量2个
多视匹配提取种子点
加入种子点集合
种子点集合为空
N
种子点出栈
Y
匹配传播
物方面元自适应匹配传播
结束
SAPMVS-整体匹配结果(郭）
PMVS-整体匹配结果(眭)
密集匹配点云——点数比较
• • • • • • pmvs 15张影像：15,424,831 SGM 0102 - 26,332,613 SGM 0405 - 32,016,724 SGM 1415 - 24,935,310 SGM 1011 - 31,149,671 SGM 0607 - 16,254,646（逆光角度）
单位：um
三、密集匹配——15张影像
三、密集匹配—— SGM算法
E ( D) C ( p, Dp ) PT 1 D p Dq 1 P 2T D p Dq 1 p qN p qN p
匹配代价：CENSUS
五、三角网纹理映射——原理
Input：影像、影像内外方元素、相机参数、物方三角模型； output: 附有纹理的物方模型 ①计算P矩阵
计算3维物方面到影像的映射关系，计算物方面元到影像中的纹理三角面。
②遮挡探测与剔除
通过遮挡探测剔除P矩阵映射错误的候选纹理面；
③纹理提取
通过不同影像中的纹理信息（面积、与摄影轴的夹角、拓补等），优选出唯一的最优 纹理面；并重采样到其纹理空间。
息。
A
2 1
B
3
4
半边数据结构示意图 不同程度的简化模型
五、三角网纹理映射
纹理映射的本质就是实现2D纹理源到三维物方面的映射 关系（几何映射）和纹理一致性约束性。
几何映射
X u Y v P Z 1 1
式中P为所求投影矩阵，为物方到像方的映射关系；具体表达形式与影像内外 方元素和相机参数有关 纹理一致性约束性 除了几何映射关系外，还需考虑遮挡、摄影夹角等引起的辐射误差，使得在 几何映射正确的基础上达到辐射一致性表达，减少或消除相邻纹理的色差。 52
航向重叠：60% 旁向重叠：50%
二、倾斜影像空三——视角变形纠正
原始影像 局部纠正效果
摄站m的右视（C相机）
摄站n的左视（A相机）
纠正影像
纠正前
摄站m的右视（C相机）
摄站n的左视（A相机）
纠正后
基于高程面的影像纠正：视角改正、分辨率等归一化
论文已发表
二、倾斜影像空三——连接点匹配
B相机 D相机 E相机
_
, 结点 （经平滑后的）散度值。 i
0,13
xi，结点i的指示函数值。 Bi ,结点i的三元三次B样条函数。
线性系统Ax=b求解 采用分层 超松弛迭代法（SOR），求解 各结点的指示函数{xi}。
通过等值面提取方法（Marching Cube算法）重建出模型表面 根据泊松方程性质：理论上令χ=0提取的即为表面。但由于①采样 点可能存在噪声， ②迦辽金离散化仅仅是对连续问题的一个逼近 ③在建 _ 立八叉树过程中，点的采样密度被逼近 ，所以需提取 0 的表面。 _ 其中， 代表采样点处的指示函数值的平均值（接近0）。
视角多、影像多、数据量大 多个角度反映地物情况 提供建筑物侧面纹理 不同视角影像变形大：连接点提取问题 幅面较小，同视影像基线较短：匹配噪声问题
倾斜影像三维建模的路线图
倾斜影像空三 开源匹配算法集成(PMVS) 自主密集匹配方法(SGM)
点云融合与构网 高质量、实用为目标 交互式建模 快速建模
–已知三维模型，求每个表面在影像上的对应关系 –复杂性：(遮挡导致)表面多边形的破碎化
•自动三维重建
–由破碎的二维影像对象反演出完整的三维对象 –复杂性？
进展情况
• 空三：实现了不同相机的自动匹配和整体平差（郭）
• 密集匹配
– 对PVMS开源代码进行适应性改造与加速（郭、江、眭）
– 支持城市地区建模的多级SGM算法的实现与改进（江）
通过分块构网，解决了无法重建整个航带数据的问题，并支持并行
电力走廊分块构网 分块泊松构网
电力走廊分块合并
分块构网与拼接技术
在对整个电力线路走廊进行分块构网后，需要拼接所有的构网结果，组成整体 表面模型。分块构网结果的接边问题是进行模型拼接的关键。 本项目通过扩张-裁剪的方式进行分块构网，解决接边问题。
改变光线经过的三角面的权值
利用最大流算法确定最佳分割面
Graph Cut重建结果
Graph Cut算法优点
重建的表面是watertight
适用于开放场景
Graph Cut构网改进
• 基于四面体空间分解和图割法
– 依据visibility信息和三角形面积信息添加s-t图的权值，通过优化标记四面体
模型简化消除“边界污迹”
无效三角面元剖分解决局 部区域缺纹理现象
• 构网：
– Possion构网（眭、郭）
– GraphCut方法实现与优化（郭）
– Mesh简化
• 纹理映射：自动纹理映射实现与优化（朱）
• 基于影像的点云优化与特征线匹配（黄）
说明：目前主要参与小组——朱庆、郭丙轩、江万寿、眭海刚、黄先锋
一、实验数据
• • • • 摄取区域：贵阳金阳 航带间间距：500m 航带内间距：150m 航高：600m—1000m之间
④匀色匀光
由于成像过程为非线性、离散过程，使得同一物体在不同影像中呈现不连续性、非一 致性；因此需要一种色彩调整方法，来消除其产生的纹理裂缝、辐射不一致性。
53
纹理映射存在的问题
难点
纹理映射是三维重建的最后一步环节，直接决定着三维重建模型的视觉效果
“最小成像角”原则选 择最佳纹理影像
模型自遮挡检测，大 幅度提高纹理重建效 率
34PΒιβλιοθήκη isson重建结果Poisson重建结果
多视角点云数据的分块构网策略
考虑到倾斜影像数据量大、Poisson构网算法的空间复杂度 ，实现了基于分块策略的点云构网。

分块构网策略
(1)计算影像地面覆盖范围 (2)基于物方分块与统计 (3)分块点云的获取与构网 (4)后处理与构网结果输出
基于分块策略的点云构网实例
A相机
C相机
五镜头倾斜影像的匹配效果（图中“+”为匹配出的同名点）
二、倾斜影像空三——连接点点云
参与空三的点云（粗差剔除后，约98万个连接点）
二、倾斜影像空三——结果
检查点
影像数：73张 连接点数：983684个 单位权中误差：0.55像素 平均残差：0.23像素 最大残差：1.33像素
该连接点在各片上的像点残差：
33
四、点云构网——Possion算法
利用加勒金公式，令 p xi Bi p ，将泊松方程 V i 1 化为线性系统Ax=b。 其中，Aij Bi , B j 3 ,Aij 是结点i与结点j之间的拉普拉斯值。
0,1
N
_
转
bi V , Bi
四、点云构网—— Graph Cut算法
• 把表面重建问题转化三维三角网中的最大流/最小割问题