红外与可见光图像融合研究

红外与可见光图像融合是指将同一场景下的相机获取的图像与红外传感器获得的图像融合为一张图像。融合图像具备源图像的重要信息，尽量无冗余信息。融合图像在广泛应用在计算机视觉、农业、遥感、医学等领域。本文主要对其研究进展做整理，使感兴趣学者快速掌握红外与可见光图像融合研究脉络。首先将研究算法主要分为：多尺度变换、稀疏表示、神经网络以及其他方法等几大类。接着对每类进行详细探讨，然后对目前主流算法做一些优劣评价与总结。最后对本研究领域未来值得突破点进行展望。

随着科技不断发展，传感器技术不断进步。可获得大量不同种类的信息与数据。同一类型的传感器只能从一个方面获取信息，不能提供下游计算需要的所有信息。因此，在现代应用技术中，将多传感器信息融合为一体发挥着越来越重要的作用。

信息融合技术是将不同传感器获得的信息融合为一体的技术。

融合后的信息具有多个源信息的互补特征。

可见光图像一般由普通相机获取，和人类视觉几乎一致。获得的信息是具有高清细节、高分辨率的图像。但在下雨、夜晚、雾霾等情况下获得的图像几乎不能使用。红外图像是指红外传感器捕获信息源发出的热辐射能而形成的图像。其特点通常是分辨率低、细节纹理较模糊等。但不会受到来自恶劣天气、普通遮挡的影响。

由于可见光和红外图像优缺点具有互补性，互相结合后具有更大的利用价值。于是可见光和红外图像融合技术顺应而生。可见光与红外图像融合是指将可见光图像与红外图像融合为一张图像，融合后的图像具有两种类型图像互补信息，表达力更加丰富。

融合后的信息广泛应用于计算机视觉领域[1]，如：目标监控、目标跟踪、目标识别。农业领域，如水果采摘、水果质量评估、农作物特征检测。医学领域、遥感领域等[2]。

融合算法始于上个世纪，距今已有几十年的历史。根据研究者提出的融合算法架构，大致可分为多尺度分解法、稀疏表示法、神经网络法、其他混合法等。接下来章节分别对其种类进行概述，最后一小节对可见光与红外图像融合算法进行总结与展望。

2. 多尺度分解法 本多尺度分解法是深度学习算法提出之前最火的方法之一。其主要思想是首先将源图像分解为若干层，然后利用相应的融合规则对每一层进行融合，最后对每层融合后的图像进行逆变换，最终的得到融合图像。根据其融合框架可得知，分解算法与融合规则决定最终融合质量。

2.1. 金字塔分解 最早基于多尺度分解的可见光和红外图像融合算法是基于金字塔分解法。文献[3]产生拉普拉斯金字塔的多尺度变换包括四个步骤：低通滤波、子采样、插值和差分，所有这些都是在不同的尺度上完成的。

图像的融合是通过组合源图像生成的两个拉普拉斯金字塔的差图像， 然后应用逆变换得到最终融合图像。

还有学者对传统金字塔进行改进，提出可操纵金字塔，具有多尺度、多方向和自反转的图像分解优点。