第４５卷第６期２０１６年６月测绘学报ＡｃｔａＧｅｏｄａｅｔｉｃａｅｔＣａｒｔｏｇｒａｐｈｉｃａＳｉｎｉｃａＶｏＩ．４５，Ｎｏ．６Ｊｕｎｅ，２０１６

引文格式：程争刚，张利．一种基于无人机位姿信息的航拍图像拼接方法ＥＪ］．测绘学报，２０１６，４５（６）：６９８—７０５．ＤＯＩ：１０．１１９４７／ｊ．ＡＧＣＳ．２０１６．２０１５０５６７．ＣＨＥＮＧＺｈｅｎｇｇａｎｇ，ＺＨＡＮＧＬｉ．ＡｎＡｅｒｉａｌＩｍａｇｅＭｏｓａｉｃＭｅｔｈｏｄＢａｓｅｄｏｎｕＡＶＰｏｓｉｔｉｏｎａｎｄＡｔｔｉｔｕｄｅＩｎｆｏｒｍａｔｉｏｎＥＪ］．ＡｃｔａＧｅｏｄａｅｔｉｃａｅｔＣａｒｔｏｇｒａｐｈｉｃａＳｉｎｉｃａ，２０１６，４５（６）：６９８—７０５．ＤＯＩ：１０．１１９４７／ｊ．ＡＧＣＳ．２０１６．２０１５０５６７．

一种基于无人机位姿信息的航拍图像拼接方法

程争刚，张利

清华大学电子工程系，北京１０００８４

ＡｎＡｅｒｉａｌＩｍａｇｅＭｏｓａｉｃＭｅｔｈｏｄＢａｓｅｄｏｎＵＡｖＰｏｓｉｔｉｏｎａｎｄＡｔｔｉｔｕｄｅ

Ｉｎｆｏｒｍａｔｉｏｎ

ＣＨＥＮＧＺｈｅｎｇｇａｎｇ，ＺＨＡＮＧＬｉ

ＤｅｐｏｒｔｍｅｎｔｏｆＥｌｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅｒｉｎｇ，ＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００８４，Ｃｈｉｎｏ

Ａｂｓｔｒａｃｔ：Ａｓｔｈｅｅｘｉｓｔｉｎｇｍｅｔｈｏｄｓｆｏｒａｅｒｉａｌｉｍａｇｅｍｏｓａｉｃｔａｋｅｈｉｇｈｃｏｍｐｕｔａｔｉｏｎａｌ，ａｆａｓｔａｎｄｅｆｆｅｃｔｉｖｅ

ａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｔｈｅｐｏｓｉｔｉｏｎａｎｄａｔｔｉｔｕｄｅｉｎｆｏｒｍａｔｉｏｎｏｆｕｎｍａｎｎｅｄａｅｒｉａｌｖｅｈｉｃｌｅｓ（ＵＡＶ）ｉｓｐｒｏｐｏｓｅｄ．Ｆｉｒｓｔｌｙ，ｔｈｅｃｏｏｒｄｉｎａｔｅｓａｎｄａｔｔｉｔｕｄｅａｎｇｌｅｓｏｆＵＡＶｃａｎｂｅｏｂｔａｉｎｅｄｂｙａｉｒｂｏｒｎｅＧＰＳａｎｄｉｎｅｒｔｉａｌ

ｍｅａｓｕｒｅｍｅｎｔｕｎｉｔ（ＩＭＵ），ａｎｄｅａｃｈａｅｒｉａｌｉｍａｇｅｈａｓａｃｏｒｒｅｓｐｏｎｄｉｎｇｐｏｓｉｔｉｏｎａｎｄａｔｔｉｔｕｄｅｉｎｆｏｒｍａｔｉｏｎ．Ｔｈｅ

ｈｏｍｏｇｒａｐｈｙｍａｔｒｉｘｂｅｔｗｅｅｎｔｗｏａｅｒｉａＩｉｍａｇｅｓｗｉｔｈｔｈｅｐｏｓｉｔｉｏｎｓａｎｄａｔｔｉｔｕｄｅｉｎｆｏｒｍａｔｉｏｎｃａｎｂｅｃａｌｃｕｌａｔｅｄ．Ｔｈｅｎｔｈｅｒｅｇｉｓｔｒａｔｉｏｎｏｆｔｈｅｍｏｓａｉｃｉｍａｇｅｓｉｓｏｂｔａｉｎｅｄｂｙｔｈｅｏｐｅｒａｔｉｏｎｏｆｈｏｍｏｇｒａｐｈｙｍａｔｒｉｘ．

Ｆｉｎａｌｌｙ，ｔｈｅｍｕｌｔｉｐｌｅｉｍａｇｅｓｃａｎｂｅｓｔｉｔｃｈｅｄａｎｄｔｈｅｗｈｏｌｅｐａｎｏｒａｍａｇｏｔ。Ａｌａｒｇｅｎｕｍｂｅｒｏｆｅｘｐｅｒｉｍｅｎｔｓｄｅｍｏｎｓｔｒａｔｅｔｈｉｓａｌｇｏｒｉｔｈｍｉｓｅｆｆｉｃｉｅｎｔ．

Ｋｅｙｗｏｒｄｓ．ａｅｒｉａｌｉｍａｇｅ；ｐｏｓｉｔｉｏｎａｎｄａｔｔｉｔｕｄｅ；ｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎ；ｈｏｍｏｇｒａｐｈｙｍａｔｒｉｘ；ｐａｎｏｒａｍａＦｏｕｎｄａｔｉｏｎｓｕｐｐｏｒｔ：ＴｈｅＮａｔｉｏｎａＩＮａｔｕｒａＩＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎＯｆＣｈｉｎａ（Ｎｏｓ．６１１７２１２５；６１１３２００７）

摘要：针对现有航拍图像拼接方法处理速度较慢的问题，提出一种基于无人机位姿信息的快速拼接方

法。首先从机栽ＧＰＳ和惯性导航单元获得无人机航拍时的坐标和姿态角，根据每一幅航拍图像对应的

无人机坐标和姿态角计算它们之间的单应变换矩阵，实现航拍图像之间的快速配准。然后通过单应变

换矩阵的运算得到拼接图像之间的配准，最后完成多幅图像的拼接得到整个区域的全景图。试验结果

证明该方法快速有效。

关键词：航拍图像；位置和姿态；图像配准；单应矩阵；全景图

中图分类号：Ｐ２３１文献标识码：Ａ文章编号：１００１—１５９５（２０１６）０６．０６９８—０８

基金项目：国家自然科学基金（６１１７２１２５；６１１３２００７）

近几年无人机受到了人们越来越多的关注，无

人机图像拼接方法也随之得到了快速发展。无人机

图像拼接是指在无人机平台上对多幅在不同时刻、

从不同视角获得的航拍图像经过对齐处理后，然后

无缝地融合在一起，从而得到一幅视野更大、分辨率

更高的全景图像。目前被广泛应用于数字地图绘

制、城市建设规划以及战场态势评估等领域。

航拍图像的拼接一般包括４个步骤：待拼接

图像的获取、图像畸变校正、图像配准以及图像融

合。其中图像配准是整个图像拼接技术的核心部

分，它直接关系到图像拼接的质量［１］，其主要目的是得到两幅图像之间的变换矩阵。目前无人机图

像配准技术主要是基于特征点匹配的方法，该方

法利用图像中提取到的局部特征进行匹配，其关

键步骤是图像特征的提取和匹配［２］，其中基于

ＳＩＦＴ特征点匹配的方法被广泛地应用于航拍图

像的配准。该方法能够有效地适应航拍图像间存在的视角和尺度变化，由文献［３—４］在１９９９年提

出，并在２００４年又对该算法进行了完善口＿］。后

来又出现了很多改进的ＳＩＦＴ算法应用到图像配

准中［５－９］。文献Ｅ５－１提出的ＰＣＡ—ＳＩＦＴ方法，采用

主成分分析对ＳＩＦＴ算子进行降维操作，大大减

万方数据第６期程争刚，等：一种基于无人机位姿信息的航拍图像拼接方法６９９

少了计算时间。文献ｌ－６－１提出的尺度和仿射不变

量兴趣点检测的ＧＬＯＨ算法，采用一种ＳＩＦＴ变

体的描述子，用对数极坐标分级结构替代ＳＩＦＴ

使用的４象限，之后再做ＰＣＡ将其降维，因此保

有和ＳＩＦＴ一样精简的表示方法。文献［７－１提出

的ＳＵＲＦ算法，采用快速Ｈｅｓｓｉａｎ方法进行特征

点检测，是ＳＩＦＴ算法的加速版。文献［８］提出扩

展ＳＵＲＦ描述符，采用邻域采样点的局部归一化灰度统计信息以及二阶梯度值细节信息，增强了

描述符的约束性与独特性。文献［９］提出的ＡＳＩＦＴ算法，通过模拟不同经纬度的图像，克服

了ＳＩＦＴ算法的不完全仿射性。但是上述图像配

准方法的一个明显不足就是提取特征点比较耗

时，从而导致图像拼接速度较慢。为了提高航拍

图像的拼接速度，近几年国内外研究者提出了多

种拼接方法ｎ０。１４’１６。１８｜。文献［１０］中估计变换矩阵以及图像间关系的不确定性，并考虑如何消除图

像拼接中的累积误差。文献［１１—１２］通过预测拼

接图像的重叠区域减少拼接的时间消耗。文献

［１３］提出的Ｆ－ＳＩＦＴ图像拼接算法，采用基于子

图像块的频域相位相关算法提高图像拼接的速度。文献［１４］通过分块Ｈａｒｒｉｓ角点的方法均匀

提取图像中的角点，然后采用金字塔光流算法进

行角点配准，缩短了航拍图像的匹配时间。这些

方法对于航拍图像的配准和一般图像的配准相

同，首先是对航拍图像进行特征点的提取，然后通

过相似性度量进行特征点匹配，最后根据得到的

两幅图像中对应特征点的坐标关系，采用

ＲＡＮＳＡＣ算法［１明计算出最佳匹配的变换矩阵，并没有利用航拍图像特有的优势。文献［１６—１７］

结合了航拍时的参数信息进行图像配准，提高了

航拍图像拼接的速度，但是还没有完全发挥航拍

参数对图像配准的作用。文献［１８］针对机载传感器的精度问题，提出了一种混合的方法，利用基于

图像的方法校正由位姿计算带来的拼接误差。本

文结合无人机航拍的特点，利用航拍时获得的航

拍参数来计算图像问的变换矩阵，然后通过变换

矩阵的分解推导出多幅图像连续拼接的变换矩

阵，基本不依赖拍摄图像的质量情况，提出了一种快速的航拍图像配准方法。

１两幅航拍图像的配准

１．１航拍图像间的单应变换矩阵

如图１所示，无人机在位置０。和０。对地面场景进行拍摄，得到图像Ｊ。和Ｊ：。Ｍ（Ｘ。，Ｙ。，

Ｚ。）Ｔ为场景中的一点，Ｍ。（Ｘ叫Ｙ叫Ｚ，，）Ｔ和

Ｍ。（Ｘ∥ｙｆ。，Ｚ，，）Ｔ表示Ｍ在两个位置的相机坐

标。ｍ１（“ｌ，ｕｌ，１）Ｔ和ｍ２（“２，ｕ２，１）Ｔ分别为Ｍ在

图像ｊ，和ｆ：上对应的点。如果矩阵Ｈ能满足

ｍ２一ｓｈｉｎｌ（１）则称矩阵Ｈ为图像ｊ。到ｊ：的单应变换矩阵。

其中ｓ为非零常数项。

Ｊ冬１小Ｍ视角的航扪Ｈ像

Ｆｉｇ．１Ａｅｒｉａｌｉｍａｇｅｆｒｏｍｄｉｆｆｅｒｅｎｔａｎｇｌｅｓｏｆｖｉｅｗ

毛［：｝］＝蚓㈣

Ｋ＝＝＝厂÷０“ｏｄｘ，０÷口ｏｄｙ０Ｏ１（３）

阱疆。１［：；：］㈤

乙肾卜ｔ，Ｘ。Ｌ

Ｚ。１

＝皿阱…，

万方数据７００Ｊｕｎｅ２０１６Ｖ０１．４５Ｎｏ．６ＡＧＣＳｈｔｔｐ：／／ｘｂ．ｓｉｎｏｍａｐｓ．ｃｏｍ

ｎＴ－一１（７）＃－ｘ一１（７）

［莘］一象ＫＲ（Ｊ一号ｎＴ）Ｋ一１［三：］ｃ８，

Ｈ—ＫＲ（Ｊ一号聘Ｔ）Ｋ‘１一ＫＲＫ叫一ｉ１躲细ＴＫ。１

间３个姿态角的变化量叭０、妒和两个视点的坐标

驴㈦００三０；］

胪㈠霸

驴胃训

ｔ一［ｚ２一ｚｌＹ２－－ｙｌｚ２－－２：１］１（１２）

从而两幅航拍图像之间的变换矩阵就可以通

过这６个参数计算得到。由式（９）中可以看出本

文对航拍图像间单应变换矩阵的推导要求图像中

所有点的ｄ相同，也就是要保证Ｏ。视点下图像

里所有的场景都要在一个成像深度中，否则图像

之间就不能满足单应变换。

１．２测量参数的校正

由１．１节可知，通过对航拍参数的测量就可

以计算得到对应航拍图像间的单应变换矩阵。其中姿态角可以通过无人机上装有的惯性导航单元

（ＩＭＵ）获得，坐标可由ＧＰＳ获得，飞行高度可由

气压计获得。但是一般情况下，得到的测量结果

会受到误差的干扰，这对于单应变换矩阵的计算

影响较大。因此要得到准确的单应变换矩阵，就

需要对测量的参数进行校正。

根据式（９），如果已知两幅图像的单应变换矩

阵Ｈ和相机的内参数矩阵Ｋ，通过奇异值分解的

方法就可以计算出摄像机参数［２…。本文首先在

离线情况下对测量系统进行校准，得到参数测量

误差的补偿量，然后再通过航拍参数进行图像的

配准。参数校准的具体步骤如下：（１）在离线情况下通过特征点匹配的方法对

航拍图像进行配准，得到图像之间的单应变换矩

阵Ｈ。

（２）根据文献Ｅ２０］的方法由Ｈ计算出航拍

参数。

（３）将直接测量的航拍参数与参数的计算结

果进行对比（试验选择比较８０组结果），然后通过

多项式拟合的方法得到测量参数的误差补偿量

（本文选择３次多项式）。

试验结果如图２所示（以偏航角的校正为

例），其中图（ａ）为直接测量得到的８０组结果，图

（ｂ）为对应的计算结果，对比这两组结果并计算

出测量误差如图（ｃ）所示。由试验结果可以得到

测量值与测量误差之间的相关系数为０．９０２６，说

明这两个量是高度相关的。通过ＲＡＮＳＡＣ算

法［１钉拟合出测量误差与测量结果的关系为

Ｐ＝厂（ｃ）一０．０５７ｌｃ３－－０．１６０９ｃ２＋０．４８４９ｃ—

Ｏ．０８３２（１３）式中，ｃ为当前的测量结果；ｅ为测量误差。这样

就得到了测量结果的误差补偿量，从而就能对测

量的航拍参数进行校正，保证了单应变换矩阵计

算的精度。

２多幅图像的拼接

２．１多幅图像的拼接方法

多幅图像的拼接一般就是多次图像的两两拼

接。假设有待拼接的图像Ｊ。～Ｊ。，首先拼接图像

ｊ。和Ｊ：，得到第一次的拼接结果Ｊ。。。图像Ｉ。，包含两部分内容，一部分是ｆ。变换后的图像Ｊ，．：

（假设以Ｊ：作为基准图像），另一部分则是完整的

图像Ｉ：，两部分的重叠区域进行加权平均，从而

就将Ｊ。和Ｊ。融合为ｆ。，。然后再拼接Ｉ。，和ｆ。

万方数据