对正射影像上遮蔽处理的再认识
问：
是否存在其它的方法可以对影像上的 遮蔽（或缺损）信息进行补偿？
影像信息补偿处理的进一步认识
遮蔽处理的关键是对（遗漏、丢失）信息的补偿， 其实质是图像修补。 图像修补的相关问题研究包括：
影像压缩、解压缩中丢失信息的修补
图像修补的相关研究
修补裂缝 修补划痕
影像信息补偿相关研究（续）
算法易实现 计算效率高
基于角度的检测方法
原理上特别适合线阵影像 行内扫描和检测速度快
存在与框幅式影像相同的缺陷
线阵影像几何关系复杂，纠正 困难
相机底点不停改变，计算量大
基于高度的检测方法 无需地面高程的检测方法
同上
只利用成像几何关系而无需 地面高程信息
同上 成像条件苛刻
信息补偿结果举例
对真正射影像应用的认识
正射影像制作
间接法数字微分纠正原理图：
x x0 y y0
f f
a1( X
a3( X a2 ( X
a3( X
X s ) b1(Y Ys ) c1(Z Zs )
X X
s s
) )
b3 (Y b2 (Y
Ys Ys
) )
c3 (Z c2 (Z
Zs ) Zs )
X s ) b3(Y Ys ) c3(Z Zs )
限制遮蔽的对策
正射影ቤተ መጻሕፍቲ ባይዱ作为地图使用，首先须考虑其地 图功能。为此，需要对遮蔽进行限制。
影像获取时的策略
采用窄角、长焦距摄影机 短摄影基线，增加影像的重叠度
r rh rh H mf
限制遮蔽的对策（续）
正射影像纠正时的策略
取每张像片的中心部分制作正射影像
限制遮蔽的对策（续）
利用行扫描影像
只在一个方向有投影差
能充分顾及边缘信息
基于整体变分的图像修补算法
基于整体变分的图像修补算法
参考文献：许威威. 一种基于整体变分的图像修补方法.
中国图象图形学报. 2002，No.4
试验结果（继续）
试验结果（继续）
试验结果（继续）
建筑物遮蔽信息补偿特点
基于纹理匹配的信息填充原理
基于纹理匹配的信息填充算法
最佳匹配的判据：
影像上遮蔽的产生
遮蔽是由于成像光线被有一定高度目标遮挡引起 中心投影影像上有遮蔽是不可避免的 遮蔽和阴影往往同时存在
遮蔽的分类
绝对遮蔽 相对遮蔽
遮蔽的实质
正射投影无遮蔽 中心投影有遮蔽 其实质为投影差
投影差大小为：
r rh H
遮蔽的实质
正射投影无遮蔽 中心投影有遮蔽
正射影像上遮蔽的实质
原始影像上的遮蔽在正射影像上依然存在
第1讲
真正射影像制作及后处理应用
王树根 教授
正射影像的优点
正射影像（DOM）作为摄影测量与遥感
的主要产品之一，它同时具有地图的几何 精度和影像的视觉特征，特别是对于高分 辨率、大比例尺的正射影像，它不仅具有 信息量丰富、直观真实的特点，而且还可 作为背景控制信息评价其他地图空间数据 的精度、现势性和完整性，因此，其应用 范围越来越广泛。
为使修补后的图像尽量逼真，应满足以下约束条件：
1
area ()
(u
u0
2
) dxdy
2
在不考虑噪声的情况下，对图像的修补可归结为是 在上式的约束条件下求整体变分：
u dxdy
极小值的约束泛函极值问题。
基于整体变分的图像修补算法
其实质是纹理外推 将充分利用待修补区邻域的信息
基于整体变分的图像修补算法
Q[ y] x2 F[x, y(x), y(x)]dx x1
取极值，则函数 y（x）必须满足下列“尤拉方程”：
F d (F ) 0 y dx y
基于整体变分的图像修补模型
AB
对一幅二维图像来说，图像的整体变分是梯度幅值 的积分，记为：
u udxdy
ux2
u
2 y
dxdy
进一步地
完全利用矢量数据，结果精确
选取最佳像素方法
与微分纠正同步 匹配确定可靠的最佳可视点 避免遮挡补偿与影像镶嵌
地面多边形表达使后续处理困难
对影像重叠度要求严格 对DSM质量依赖性较强 生产时计算量大，需并行计算
如何进行遮蔽检测 ?
典型遮挡检测方法对比分析
遮挡检测方法 线阵扫描影像遮挡检测
优势
不足
基于投影射线的检测方法 Z-buffer方法
但仍然存在不足之处：
如影像上存在遮蔽（投影差）现象和阴影现象 对影像产品的辐射质量（包括色彩质量）控制和影 像的视觉解译效果等方面也还缺少统一的处理方法、 认识和标准。
需要研究或解决的问题
如何才能消除正射影像上所存在的遮蔽和阴影现象？ 为此，需要研究和解决：
一、正射影像上遮蔽和阴影的成像机理及特性分析 二、正射影像上遮蔽和阴影的处理机制及认识问题
制作真正射影像的理论流程
基本流程如下：
1）根据完整的数字地表模型（DSM）进行数字微分纠正， 消除原始影像中由于成像投影产生的几何形变与位移；
2）检测并标识地表成像时的遮挡区域，确保在微分纠正 中采集正确的纹理信息；
3）为了信息完整和影像美观，需要保证遮挡区域的纹理 正确与完整，对遮挡区域进行补偿处理。
仍有少量点被误检测为不可见点
如何进行遮蔽检测 ?
典型遮挡检测方法对比分析
遮挡检测方法 基于矢量多边形的检测方法
优势
不足
基于矢量的前向投影检测法
考虑了影像像素的投影变形 避免分辨率差异和地形坡度引 起的伪遮挡和伪可见
栅格矢量化工作量大 前向投影迭代计算耗时 结果受灰度重采样方法的影响
后向投影和求交运算易于实现 基于矢量的后向投影检测法
辐射质量控制举例
数字正射影像的主要应用
可制作影像地图 与等高线套合可制作影像地形图 可用于与线划图（DLG）套合进行地形图
修测，或检查其精度、现势性和完整性 数字正射影像 ＋ DEM －> 生成景观图 与立体匹配片一起可用于检查DEM的质量。
等等
正射影像精度的检查与质量控制
虽然制作数字正射影像的理论和方法已基本成熟， 生产的过程也已经达到了很高的自动化水平；
真正射影像的主要应用是什么？
具备地图的基本功能，可以进行：
地物量测 与其他DLG产品套合进行地物修测 / 变化检测 与激光点云进行套合提取地物边缘 城市规划 / 土地利用 / 导航 纹理提取 等
对真正射影像应用的认识
真正射影像处理软件
越来越多的摄影测量系统已经将真正射 影像生产功能作为其亮点，如： 像素工厂Pixel Factory INPHO软件的OrthoBox
框幅式中心投影的数字微分纠正
基本方法：根据DEM和像片的有关参数， 利用相应的构像方程或按一定的数学模型， 从原始的数字影像出发，通过解析计算和 灰度赋值得到相应的正射影像。
直接法数字微分纠正
X = φx (x，y)； Y = φy (x，y)
间接法数字微分纠正
x = fx (X，Y) ； y = fy (X，Y)
这说明，要完全消除正射影像上的遮蔽现象反而 会给观察者以不真实的感觉。
需回答的问题
是要正射影像还是真正射影像？
基于投影射线的检测方法 Z-buffer方法
基于角度的检测方法 基于高度的检测方法
算法易实现 计算效率高 应用广泛
可有效避免Z-buffer方法的伪遮 挡和伪可见问题
不受影像分辨率的影响 对建筑物边缘检测准确 比基于角度的方法高效
对DSM分辨率敏感 存在伪遮挡与伪可见问题 狭窄垂直结构存在M-portion问题 扫描全部DSM复杂费时 重复访问现象不可避免 计算量增大，效率降低
制作真正射影像的理论流程
制作真正射影像的理论流程
间接法
量测、融合或 解算生成DSM
遮挡检测 正射纠正 遮挡补偿 阴影检测与处理 影像匀光 影像拼接与镶嵌
多视影像
直接法
空三解算 密集匹配
生成DSM 正射纠正
记录物方-像方 可视对应关系
选取最佳像素
真正射影像
阴影检测与处理 影像匀光 像素组合
如何进行遮蔽检测 ?
限制遮蔽的对策（续）
前三种方法只能有效地限制遮蔽的范围， 但不能消除。
要有效地消除遮蔽现象，只有制作所谓 的“真正射影像”（True - Orthophoto）
问题的提出
什么是真正射影像 ? （True-Orthophoto）
真正射影像的制作原理
用DSM代替DEM制作正射影像
要顾及目标物体的高度 理论上是可行的 具体实施中仍有困难，如 DSM的采集 遮蔽信息的补偿
纹理外推
基于整体变分的图像修补算法
整体变分图像修补基础模型：
div
u u
0
根据待修补点 8 邻域信息，采用半点格式法求 解梯度
基于整体变分的图像修补算法
1
uup
h
a12 a22 2 a11 a13 22
1
uright
h
a23 a22 2 a13 a33 2 2
udown
去掉文字信息 移去目标
影像信息补偿相关研究（续）
基于整体变分模型和纹理匹配的 影像缺损信息补偿方法
整体变分概述
泛函：更广泛意义下的函数关系，如：Q = Q [ f (x) ] 变分法：处理泛函极值问题的方法称为变分法。 古典变分法所研究的问题可归结为： 在适当的函数集合内选择函数 y = f（x），要使积分
或
1
n2
[(
I
A R
I
B R
)
2
(
I
A G
I
B G
)