南京理工大学硕士学位论文红外与微光图像融合实时处理系统硬件设计姓名：刘咏申请学位级别：硕士专业：物理电子学指导教师：常本康20060601硕士论文红外与微光图像融合宴时恐理系统硬件设计摘要红外与微光图像融合是近年来夜视图像领域研究的热点。红外热像仪具有图像对比度大、观察距离远、观察条件受外界环境影响较小可以实现“全天候”“全被动”观察的优点，同时存在着只敏感于目标场景的辐射、对目标亮度不敏感、观察质量不高的缺点。而微光夜视仪的图像质量较好、分辨率高、刻画细节能力好，同时也存在着受外界环境条件影响大、图像层次不分明等缺点。若能将两种图像以某一算法进行融合的话，则可以充分发挥各自的优点，弥补彼此的不足，从而提高夜视系统的观测能力。本论文就“红外与微光图像融合实时处理系统硬件设计”展开工作：从课题中红外和微光图像的来源出发，研究了两种图像各自的优缺点，提出了进行图像融合的必要性；总结了目前图像融合领域的常用算法并选择加权平均法作为本论文硬件设计的指导；围绕加权平均法设计了以ＡＬｌＥＲＡ公司的ＦＰ（３ＡＥＰＩＣ２０和ｎ公司的ＤＳＰＴＭＳ３２０ＶＣ３３为核心的系统和硬件电路，实现了红外与微光图像加权平均融合处理的实时化，最终给出了实验结果。本论文还对系统的改进做了部分工作，使用目前１１公司的ＤＳＰ芯片ＴＭＳ３２０Ｃ６４１６对大小为３２０Ｘ２４０的红外图像的边缘提取算法包括Ｓｏｂｄ、Ｐｒｃｗｉｔｔ和Ｌａｐｌａｃｉａｎ算子的实时性进行测试，为系统将来的改进提供实验基础。‘
关键词：红外热成像微光夜视图像融合加权平均实时处理边缘提取堡主丝奎垒竺兰壁垄图堡墼鱼壅堕丝墨墨竺堡竺堡生
ＡＢＳＴＲＡＣＴ
Ｆｕｓｉｏｎｏｆｉｎｆｉ＇ａｒｅｄａｎｄｌｏｗ－ｌｅｖｅｌ－ｌｉｇｈｔｉｍａｇｅ
ｂｅｃｏｍｅｓ
ｍｏｒｅａｎｄｍｏｌｅ
ｐｏｐｕｌａｒｉｎｔｈｅ
ｆｉｅｌｄｏｆｎｉｇｈｔｖｉｓｉｏｎ．ＴｈｅｒｍａｌｉｎｆＴａｒｅｄ（ｍ）．ｓｅｎｓｏｒｓＣａｎ
ｐｒｏｖｉｄｅｈｉｇｈｃｏｎｔｒａｓｔｉｍａｇｅ
ａｎｄｂｅ
ｏｐｅｒＢｔｅｄｎｏｒｍａｌｌｙｉｎａｌｌｗｅａｔｈｅｒｗｈｉｌｅｔｈｅｉｎｆｒａｒｅｄｉｍａｇｅｈａｓｌｏｗｒｅｓｏｌｕｔｉｏｎ．
１０ｗ－ｌｅｖｅｌ—ｌｉｇｈｔｉｍａｇｅｈａｓｈｉｇｈｒｅｓｏｌｕｔｉｏｎａｎｄｑｕａｌｉｔｙｗｈｉｌｅｉｔｉｓｅａｓｉｌｙｉｎｆｌｕｅｎｃｅｄｂｙｔｈｅｅｎｖｉｒｏｎｍｅｎｔ．Ｉｆｗｅｆｕｓｉｏｎｔｈｅｓｅｔｗｏｋｉｎｄｓｏｆｉｍａｇｅｗｉｔｈｓｏｍｅ
ｍｅｔｈｏｄｓ，ｗｅＣａｌｌ．ｉｍｐｒｏｖｅ
ｔｈｅｏｂｓｅｒｖａｔｉｏｎａｂｉｌｉｔｙｏｆｔｈｅｈｉｇｈｔｖｉｓｉｏｎｓｙｓｔｅｍｇｒｅａｔｌｙ．
Ｔｈｅｄｉｓｓｅｒｔａｔｉｏｎｏｐｅｎｕｐｄｅｅｐｌｙｓｔｕｄｙｗｉｔｈｔｈｅｔａｓｋ’ｌａａｒｄｗａｒｅｄｅｓｉｇｎ
ｏｆｈ１＿ｆｉ－ａｒｅｄａｎｄ
ｌｏｗ－ｌｅｖｅｌ—ｌｉｇｈｔｉｎｌａｇｅｆｕｓｉｏｎｓｙｓｔｅｍ”．Ｂｙｓｍｄｙｉｎｇｔｈｅｏｒｉｇｉｎｏｆｉｎｆｒａｒｅｄａｎｄ
ｌｏｗ－ｌｅｖｅｌ·ｌｉｇｈｔ，ｃｏｎｔｒａｓｔｉｎｇｔｈｅｉｒｃｈａｒａｃｔｅｒｓ，ｓｕｍｍａｒｉｚｉｎｇｃｏｍｍｏｎｉｍａｇｅｆｕｓｉｏｎａｌｇｏｒｉｔｈｍｉｃａｐｐｒｏａｃｈｅｓ，Ｗｅｉｇｈｔｅｄｐｉｘｅｌａｖｅｒａｇｉｎｇｈａｓｂｅｅｎｓｅｌｅｃｔｅｄ鹳ｔｈｅｇｕｉｄａｎｃｅｏｆ
ｓｙｓｔｅｍｈａｒｄｗａｒｅｄｅｓｉｇｎ．Ａｃｃｏｒｄｉｎｇｔｏｔｈｉｓａｌｇｏｒｉｔｈｍｉｃａｐｐｒｏａｃｈ，ｔｈｅｒｅａｌ—ｔｉｍｅｐｒｏｃｅｓｓｉｎｇ
ｓｙｓｔｅｍｏｆｉｎｆｒａｒｅｄａｎｄｌｏｗ－ｌｅｖｅｌ－ｌｉｇｈｔｉｍａｇｅｆｕｓｉｏｎｕｓｉｎｇＡｌｔｅｒａＦＰＧＡＥＰｌＣ２０ａｎｄＴＩ
ＤＳＰＴＭＳ３２０ＶＣ３３ｈａｓｂｅｅｎｄｅｓｉｇｎｅｄ．Ｔｈｅ
ｐａｐｅｒａｌｓｏｐｒｏｖｉｄｅｓｔｈｅｅｘｐｅｒｉｍｅｎｔｒｅｓｕｌｔｏｆ
ｔｈｅｉｍａｇｅｆｕｓｉｏｒＬＡｔｔｈｅｅｎｄ，ｔｅｓｔｓｏｆ
ｅｄｇｅｄｅｔｅｃｔｉｎｇａｌｇｏｒｉｔｈｍｉｃａｐｐｒｏａｃｈｅｓｕｓｉｎｇ
ＴＭＳ３２０ｃ６４１６ｈａｖｅｂｅｅｎｄｏｎｅ，ｆｏｒｔｈｅ
ｐｕｒｐｏｓｅｏｆｉｍｐｒｏｖｉｎｇｓｙｓｔｅｍｕｓｉｎｇＣ６４ｘＤＳＰｉｎ
ｆｕｔｕｒｅ．
Ｋｅｙｗｏｒｄｓ：ｔｈ∞Ｔｍｌｉｎｆｒａｒｅｄ，ｌｏｗ－ｌｅｖｅｌ－ｌｉｇｈｔ，ｉｍａｇｅｆｕｓｉｏｌｌ，ｗｅｉｇｈｔｅｄ
ｐｉｘｅｌ
ａｖｅｒａｇｉｎｇ，ｒｅａｌｔｉｍｅｐｒｏｃｅｓｓｉｎｇ，ｅｄｇｅｄｅｔｅｃｔｉｏｎ
Ⅱ声明
本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均已在论文中作了明确的说明。
研究生签名：到赴≯彳年‘月％日
学位论文使用授权声明南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或上网公布本学位论文的全部或部分内容，可以向有关部门或机构送交并授权其保存、借阅或上网公布本学位论文的全部或部分内容。对于保密论文，按保密的有关规定和程序处理。
研究生签名：纠绝１名年ｆ月衫曰硕士论文红外与微光图像融台实时处理系统硬件设计
１．绪论１．１图像融合的定义和层次图像融合是在多测度空间综合处理多源图像和图像序列的技术，是多传感器信息融合中可视信息部分的融合，是将多源信道所采集的关于同一目标的图像在空间或时间上的互补信息依据某种准则融合，获得对场景的一致性解释或描述，使融合后的图像具有比参加融合的任意＿幅图像更优越的性质，可以更精确地反映实际ｆ１】ｌ翻。从上述的定义中不难得出，优越的性质和精确的反映实际是图像融合的最具吸引力之处。图像融合可以分为信号级融合、像素级融合、特征层数据融合和符号层数据融合四个层次【１１１２１。信号级融合指的是合成一组传感器的信号，目的是提供通常与原始信号形式相同但品质更高的信号。来自传感器的信号可建模为混有不相关噪声的随机变量，而把融合过程考虑为一种估计过程。信号级融合在很大程度上是信号的最优集中或分布检测问题。像素级的图像融合是对原始图像融合形成一幅新的图像，可以使人更容易识别潜在的目标。像素级图像融合可用来增加图像的有用信息内容，从而可进行更可靠的分段，为下一步处理提供更多的特征。如果要融合的图像是不同分辨率的，则需要在图像相应区域规定映射。像素级的图像融合方法是一种低层次的融合，保留了尽可能多的信息，精度比较高。特征级融合是可对传感器提供的信息进行提取，又可用做建立系统使用的附加合成特征的融合方法。特征保证数据抽象．把某类语义含义附加到传感数据的某个空间和／或时间段的处理结果上建立“原始”特征，通过组合现有特征来建立“合成”特征。从图像中提取并用于融合的典型特征包括边和类似亮度或深度区的域。融合过程结果建立的特征可以是分量特征的合成，也可以是由各分量特征组成的完全新型的特征。特征级融合的传感器对准要求不如信号级和像素级要求严格，因此传感器可分布于不同的平台上。可用特征的几何变换使其与其他特征或环境模型对准。典型的图像特征包括边界提取、同密度或同景深区域提出等等。符号级融合可在最高抽象层次上有效的使用来自多个传感器的信息。如果传感器非常不同或者涉及环境的不同区域，那么符号级融合也许是可融合传感信息的唯一方法．用于融合的符号可源于系统中传感器提供的信息或者来自环境模型或系统外部资源的先验信息的符号推理过程。在符号层融合一般不明显考虑传感器对准，因为在符号形成中已明显考虑了作为符号基础的传感信息的空间和时间内容。如果要融合的符硕士论文红外与微光瞳像融合实时处理系统硬件设计
号没有对准，那么可把空间和时间属性与符号相联系并用于它们的对准。不同形式中的逻辑和统计推理可用于符号级融合。上面引出了图像融合定义和层次，在本课题中主要涉及到的是像素级图像数据融合，所以在本论文以后的几章中提到的图像融合均指像素级图像融合。
１．２图像融合的优点和应用单传感器获得的图像信息由于受传感器本身的工作波段、制造工艺、工作机理等因索的影响，或多或少的存在着一定的不足，而由图像融合的定义我们知道由于充分利用了多通道图像信息，图像融合可以获得比融合前的任一图像要好的像质，可以更好的反映实际，所以它的优点是不言而喻的，正是这样，图像融合在军事和民事上得到了广泛的应用。图像融合技术的发展首先离不开军事上的应用，在复杂背景中的目标识别、虚假目标甄别、远距离目标探测等方面图像融合可发挥重要作用，被认为是克服目前某些难点的技术方向，可为陆军步兵，海军和无人驾驶机（ＵＡＶ）提供极大的帮助【３１。同时图像融合在医学、遥感、计算机视觉及气象预报等方面有着巨大的应用潜力；在航天、航空多种运载平台上，各种遥感器所获得的大量光谱遥感图像（其中分辨力差别、灰度等级差别可能很大）的融合，为信息的高效提取提供了良好的处理手段，取得了明显效益ＩｚＪ．在图像融合中，红外与微光图像的融合是个典型的应用，单独由热成像（红外Ⅱ己）或者像增强器（微光ＣＣＤ）构成的夜视系统获取的图像信息各自存在着一定的优缺点，例如热成像夜视仪由于探测到的是物体所辐射的图像（ｅｍｉｓｓｉｖｅｐｈｅｎｏｍｃｎｏｌｏｇｙｌ３１）
即温度场的图像，所以它可以提供温度梯度较大或与背景有较大热对比的低可视目标的图像，实现“全被动”、“全天候”观察，即使在全黑条件下也能工作，不受烟雾等影响，观察距离也很远，但其观察效果、成像质量等方面还存在着很大的不足，另一方面微光夜视仪由于探测到的是物体所反射的微光（自然光）图像（ｒｅｆｌｅｃｔｉｖｅｐｈｅｎｏｍｅｎｏｌｏｇｙ口１），所以它所成的象和人眼的观察＞－３惯比较吻合，成像质量较好，能提供更多的目标细节，但是作用距离和观察效果受天候影响较大，遇有烟雾或在全黑条件下，均不能正常工作，使用应用范围也有一定限制，如果能将二者所获得的图像信息进行融合则可以获得很大的改观，一方面可以缓解观察者交替观察两幅图像的劳累，另～方面也增加了图像的信息量，使夜视系统的性能有了很大的提高，增强了军队夜间作战的能力。
１．３图像融合的国外发展现状和趋势图像融合技术的诸多优点和各个方面的应用需求尤其是在军事上的应用极大的２