基于改进的残差网络的单幅图像去雨方法

雨水是室外比较常见的天气现象。在雨水条件下，光的散射和能见度下降，导致计算机视觉算法会受到不同程度的干扰。为了进一步降低雨水给计算机视觉算法带来的影响，本文提出一种基于改进的残差网络的单幅图像去雨方法。该方法结合了图像处理传统方法和深度学习的方法，首先通过传统方法对有雨图像进行稀疏化，将稀疏化后的图像作为输入，由残差网络学习稀疏化后的图像特征，接着对网络进行训练，最终的网络可以有效的去除雨线。实验结果表明：本文提出的方法可以有效地去除雨线。同时，残差网络学习稀疏化的图像特征，可以大大提升网络的训练效率。

雨水是常见的天气情况，会对室外视觉系统的性能产生挑战，雨线会使图像产生模糊效果，不同程度的降低图像视觉质量。因此在图像增强、目标跟踪等实际应用中，需要有效的去除雨线的方法。近年来，图像去雨算法被广泛研究，并且取得了良好的效果。

在过去的几十年里，学者们提出了不同的方法来降低雨线对图像质量的影响。这些方法可以分为两类：基于视频的方法和基于单图像的方法。其中基于视频的图像去雨算法利用时间的连续性可以获得冗余信息，利用这些冗余信息可以很方便的对于雨滴去除。与之相比，单幅图像去雨算法无法利用时间的连续性，因此更具有挑战性。利用字典学习稀疏编码的方法是一种常用方法[1]，首先通过滤波器将图像分为低频和高频两个部分，然后利用字典学习，把高频部分分为雨线部分和非雨线部分，最后合并保留的非雨部分和低频部分， 得到去雨图像。

文献[2]利用核回归和非局部均值滤波实现了雨带的检测和去除。

在文献[3]中， 提出了一种广义低秩模型， 通过这一模型， 可以实现单图像和视频降水的时空相关性学习。

但是传统的方法计算时间过长，而且效果不理想。

卷积神经网络刚开始被用于手写字符的识别[4]。文献[5]论证了深度神经网络在特征提取方面的性能， 从此，深度神经网络被广泛应用，至今在图像分类、行人重识别[6] [7] [8]等领域发挥着巨大的作用。为了提高网络的建模能力，文献[9]设计了一种新的尺度空间不变注意力机制，帮助网络获得部分特征。利用这种方式可以获得特征图中最活跃的的显著特征， 从而获得良好的效果。

文献[10]设计了一个二分支深度神经网络，来分别处理雨条纹和类雾效果。最后通过对一个子模块的联合训练得到最终的细化结果， 该方法可以大大提升区域图像的视觉质量。

和传统的方法相比，虽然深度学习的方法表现更加良好，但是深度学习一般采用的神经网络结构较为复杂，卷积层数较多，需要学习的参数较多，不太适合图像去雨这种低级视觉领域任务。残差网络通过改变映射形式来简化学习过程，受到残差网络(Residual network, ResNet)的启发，本文提出一种基于改进的残差网络的单幅图像去雨算法。首先使用传统图像处理方法获得稀疏化图像，再使用残差网络提取稀疏化图像特征，通过这些特征估计出原始图像和复原图像的映射关系，最终获得复原图像。实验结果表明，本文的方法获得了较好的去雨效果。