基于动态卷积的高光谱图像融合网络

基于深度学习的高光谱(Hyperspectral Image, HSI)和多光谱图像(Multispectral Image, MSI)融合技术已经被广泛研究，以提高高光谱图像的分辨率。但大多数方法在融合时不能充分提取高光谱和多光谱图像的有效信息。针对这个问题，本文提出了一种基于动态卷积的高光谱图像融合网络DHIF，主要通过三个分支进行图像的特征提取和融合重构。首先，在特征提取阶段，引入动态卷积来提取高光谱和多光谱图像的串联信息，然后针对其他两个图像分支，设计高光谱动态卷积子网络HDCN和多光谱动态卷积子网络MDCN，分别提取HSI和MSI的光谱与空间信息。此外，提取到的信息一方面用于HR-HSI的重构，另一方面作为损失函数的一部分来约束网络的训练。本文在三个高光谱数据集Pavia University (PU)、 Pavia Centre (PC)和Botswana上实现了DHIF，并和其他九种目前较好的融合算法进行比较，证明本文提出的模型不论是在数量上还是质量上，都实现了最好的融合效果。

高光谱图像(Hyperspectral Image, HSI)是通过成像技术对目标区域的几十甚至几百个波段同时成像得到的图像，不仅覆盖了丰富的地表空间信息也包含广泛的光谱信息，因此被广泛应用于图像分类[1] [2]、目标检测[3] [4]和变化侦测[5] [6]等多种图像后处理领域。但由于成像系统的限制，为了保证较高的信噪比，捕获图像在覆盖到大量且连续光谱带的同时，会以一定的空间信息为代价，所以高光谱图像往往会有较低的空间分辨率，从而限制了它的应用和发展。为了更好地进行高光谱图像研究，我们需要获取同时具有高空间分辨率和高光谱分辨率的高光谱图像(HR-HSI)。

随着高光谱领域的不断研究，大多数学者采用高空间分辨率的多光谱图像(HR-MSI)与高光谱图像(LR-HSI)的融合技术来提高高光谱图像的分辨率。这种融合方式通常可以分为两类：基于模型的融合方法和基于深度学习的融合方法。基于模型的融合方法[7] [8] [9]通常需要手工设置先验信息再进行融合， 但这些先验信息不一定能很好地代表高光谱图像的内部结构；而基于深度学习的融合方法通过借助深度学习强大的学习能力，目前已有很大的发展[10] [11] [12]。虽然上述深度学习的方法已经实现了一定的融合效果，但在融合过程中，大多数方法仅使用静态卷积来提取图像的特征，没有很好地关注不同图像中的重要信息，从而限制了融合效果。为解决这个问题，本文引入了动态卷积[13] [14]，提出了一种基于动态卷积的高光谱图像融合网络(DHIF)。该模型主要从三个分支来用于HSI、MSI 和串联图像的特征提取与图像重构。对于特征提取阶段的串联分支，本文使用动态卷积代替大部分网络中的静态卷积来提取串联特征；而对于其他两个单图像的输入分支，分别设计高光谱动态卷积子网络HDCN 和多光谱动态卷积子网络MDCN 来提取它们的光谱与空间信息。

在图像重构阶段，三个分支提取的特征信息一方面被用于图像融合，另一方面还作为损失函数的一部分来约束网络模型的训练。综上而言，本文的主要贡献为： (1) 本文提出一种基于动态卷积的高光谱图像融合算法(DHIF)， 用于高光谱和多光谱图像的融合， 并引入动态卷积对图像中有效信息进行提取。

(2) 本文分别设计了高光谱动态卷积子网络HDCN 和多光谱动态卷积子网络MDCN 提取原始HSI