基于条件生成对抗网络的图像去雾算法

本文改进了一种基于条件生成对抗网络的图像去雾算法。在生成器网络模型中使用32层Tiramisu代替U-Net可以减少训练参数，提高参数利用率。判别器网络的最后一层使用Sigmoid函数完成归一化。使用损失函数加权和的方式训练网络模型，使用一种评价去雾能力的分数，保存训练过程中分数较高的模型

雾是由于大气光被吸收和散射造成的自然现象。在雾的影响下，直射光线被散射以后造成图像对比度、可见度以及色彩保真度的下降。相机拍摄会由于大气散射光与物体反射光造成图像表面亮度和色彩失真。此外，相机从场景点接收到的信号随着距离增大而衰减。雾带来的图像对比度和可见度下降问题对于某些行业影响很大，比如自动驾驶、交通监控、卫星遥感等领域。

经典的图像去雾算法主要分为基于图像增强去雾算法和基于大气散射模型去雾算法两大类。基于图像增强去雾算法主要有直方图均衡化，小波变换，Retinex 去雾算法等。Tan 等观察到通常无雾图像对比度比含雾图像高，提出增大图像局部区域对比度去雾算法[1]。基于大气散射模型的去雾算法根据图像景深信息计算出每个像素上的透射系数，由每个像素上的透射系数计算出透射图，利用透射图复原出无雾图像。Kopf 等通过计算多张图像或物理三维模型的景深信息复原图像[2]。He 等通过观察大量的图像以及实验研究，提出了基于暗通道先验的单张图像去雾算法[3]。He 方法的缺点是在高亮度区域(如天空)会容易出现色彩失真。在He 去雾算法的基础上，Meng 等提出限制透射率函数边界来更精确的估计出透射率[4]。Berman 等提出了非局部区域去雾方法，他们观察到无雾图像中的颜色可以被RGB 空间域100 种不同颜色簇近似表示， 而有雾图像的颜色像素会在RGB 空间域形成雾线， 利用这种雾线估计出每个像素的透射率[5]。以上方法都基于一个或多个雾相关特征的先验信息，使用深度学习算法计算雾相关特征可以提高去雾算法的鲁棒性。Cai 提出的DehazeNet 是一种能提取出图像相关特征的卷积神经网络(Convolutional Neural Network, CNN)， 这种模型可以计算透射率[6]。

在DehazeNet 上更进一步， Ren 等使用多尺度深度卷积神经网络来计算透射率[7]。Goodfellow 等人提出的生成对抗网络(Generative Adver-sarial Networks, GANs)框架可以将随机输入噪声输出逼真图像[8]。条件生成对抗网络(Conditional Gener-ation Against Networks, cGAN)通过优化目标函数来学习从输入图像和随机噪声中生成清晰图像[9]。

cGAN 在超分辨率、图像修复和样式转移等图像处理领域得到了广泛应用。Zhang 等联合使用三种U-Net神经网络模型引导图像去雾[10]，第一个模型融合使用对抗损失与欧几里德损失的cGAN 来估计透射率图；第二个模型先估计出雾相关特征，然后将雾相关特征与透射率联合在一起；第三个模型使用欧几里德损失函数和感知损失函数联合在一起输出无雾图像。

本文使用Tiramisu 代替U-Net 作为生成器网络模型，减少训练参数，提高参数利用率。判别器网络的最后一层借助Sigmoid 函数完成归一化。使用损失函数加权和的方式训练网络模型，提出一种评价去雾能力的分数，保存训练过程中分数较高的模型及参数，进而使用分数最高的网络模型及参数对室外真实图像进行去雾训练测试。