注意力机制引导的混合失真图像复原研究

针对真实场景下多种混合失真组合的多任务图像复原，考虑到受不同退化机制影响的复原任务之间具有差异性和相似性，提出了一种由注意力机制引导的混合失真图像复原网络，该网络包含由任务驱动的操作层模块，利用注意力对不同退化机制的不同表现来解决混合失真这类多任务图像复原问题，从而更好地复原了受不同退化机制影响的图像。实验结果表明，相较于单任务复原模型，该方法对真实场景下混合失真组合图像的复原效果更佳。

图像复原，即从退化图像中复原真实清晰图像。传统方法通过对干净的自然图像进行建模来解决这个问题， 研究人员根据统计学或基于物理学的模型设计图像先验， 例如边缘统计[1] [2]和稀疏表示[3] [4]。

近年来，使用卷积神经网络的基于学习的方法已经被证明比以前依赖先验的传统方法效果更好，并提高了各种图像复原任务的性能水平，如去噪[5] [6] [7]、去模糊[8] [9]和去雨[10] [11]。

图像的退化机制(失真)有很多种类型，如高斯/椒盐噪声、失焦/运动模糊、JPEG 压缩、雨滴和雾霾等。图像复原大致分为两种应用场景，一种是已知退化类型，比如照片编辑软件中实现的去模糊滤镜。

另一种是包含混合失真类型的真实图像的复原，比如汽车自动驾驶中的应用。大多数现有研究都针对前一种情况，提出了很多单一任务的复原模型，在后者的应用上并不能取得良好的效果。在本文中，我们考虑后一种应用场景，处理真实场景下混合失真组合的图像复原问题。真实场景中的退化比我们想象的要复杂得多，目前处理这个问题的工作很少，下面主要介绍两项值得注意的研究工作：Zhang [12]等人通过门融合网络实现图像超分和去模糊，该网络以低分辨率模糊图像作为输入，通过两个分支分别实现去模糊和超分，其中还加入了门模块自适应融合去模糊和超分辨率特征。Yu 等人[13]提出了一个框架，其中多个轻量级CNN 针对不同的图像退化机制进行训练， 并通过深度强化学习的机制适应性地应用于输入图像。虽然他们的方法被证明是有效的，但仍存在一定的问题：一个是有限的准确性。与现有的针对单一任务的图像复原方法相比， 该方法准确性提升不大；另一个问题是效率不高， 它并行使用了多个小CNN， 每个都需要预训练。

基于上述问题，本文提出了一个基于注意力机制的端到端的复原网络，该网络由特征提取模块、包含并行操作的基于注意力的操作层堆叠块，以及卷积输出层构成，使模型能够根据输入图像的不同退化类型选择适当操作进行图像复原。特征提取模块中引入了空洞卷积残差块，空洞卷积的使用主要是在原有卷积方式下增加了一个扩张率参数，增大感受野，较好地提取图像特征。空洞卷积比普通卷积核的叠加更能够提高多尺度的信息，所以应用于视觉任务时效果能优于普通卷积。采用跳跃连接，加强特征图的传递，并提升模型收敛速度。我们设计了一个能够并行执行多个操作(如不同参数的卷积和池化)的层， 并为该层配备了一个注意力机制，对这些操作产生权重，目的是使注意力机制作为该层中这些操作的切换器。通过堆叠该层形成深层结构，通过梯度下降的方式进行端到端的训练。我们通过几个实验来评估方法的有效性。