基于二通道不可分小波与深度学习的红外与可见光图像融合方法

红外与可见光图像融合在武器检测、目标识别领域中扮演着重要角色，而融合的关键是通过适当方法从源图像中提取显著特征并将其组合生成融合图像，因此提出了基于不可分小波与深度学习的红外与可见光图像融合方法。首先，构造不可分小波滤波器组，通过二通道不可分小波滤波器将源图像分解为高频子图和低频子图；然后，利用深度学习网络提取高频子图的深度特征，采用多层融合的策略得到权值映射，利用权重图和高频细节得到融合后的高频子图；最后，对融合后的低频子图和高频子图进行重构，得到最终的融合图像。实验结果表明，与其他相关方法相比，本文方法在主观视觉和客观指标评价上都取得了更好的结果。

红外和可见光图像融合是将红外相机和可见光相机获取的图像进行结合，从而生成信息丰富的融合图像，以供进一步处理与识别。红外图像可基于辐射差异将目标与背景区分开来，同时可见光图像可提供符合人类视觉感知的具有高空间分辨率和清晰度的纹理细节[1]。红外和可见光图像融合旨在将红外图像中的热辐射信息与可见光图像中的细节纹理信息进行结合，因此合理的图像信息提取方法是提升红外和可见光图像融合性能的关键。

近来年，基于多尺度的融合方法在红外与可见光图像融合领域应用越来越来广泛，常用的多尺度变换方法包括金字塔分解的融合方法[1]、非下采样轮廓波[2]、小波变换[3]等变换。近几年，刘等人[4]将不可分小波用于图像融合中。不可分小波在对图像分解时，不仅强调水平和垂直两个方向，而且强调各个方向，即各向同性；可同时具有紧支撑、正交性，能使融合结果图像不发生偏移；在对图像进行分解和重构时，能获得具有较高空间分辨率的图像，克服了张量积离散小波变换不能获得高的空间分辨率图像的缺点。

随着深度学习的兴起，将源图像提取的深度特征作为一种显著特征常用于图像融合中。Yu Liu 等人提出了一种基于卷积稀疏表示(CSR)的融合方法[5]，该方法利用CSR 提取多层特征，然后利用这些细节特征得到融合图像。Yu Liu 等人[6]也提出了一种基于卷积神经网络(CNN)的融合方法，该方法利用CNN网络提取图像的多层特征，将图像融合中活动水平测量和权重分配两个关键问题作为一个整体来实现， 解决了传统融合方法中复杂融合框架设计的困难。

Gatys 等人[7]提出了一种基于CNN 的图像风格转移方法，使用VGG-Net [8]分别从内容图像、风格图像和生成图像中提取不同层次的深度特征，通过迭代减小生成图像与源图像深度特征的差异。

黄迅等人[9]利用VGG-Net 和自适应实例归一化构造了一种新的样式传递网络框架。这些方法有一个共同点，它们都利用深度学习提取图像不同层次的深度特征，并将这些特征用于图像融合中。

鉴于不可分小波和深度学习的特点，本文提出了一种新的基于二通道不可分小波与深度学习的红外与可见光图像融合方法。首先，利用二通道不可分小波将源图像分解为低频图像和高频图像，使用基于