基于GAN的超分辨率重建算法研究

图像超分辨率重建是图像复原的重要分支之一，算法任务是进行图像或者视频的修复或重建，目标是提高原始图像或视频帧的分辨率，目前很多超分辨率重建算法使用生成对抗模型来提升分辨率。本文拟采用密集型卷积网络对生成对抗模型的生成器部分进行改进，并提供一个将高层次特征与低层次特征联合起来的方法，将每一层的特征图传播到后续卷积层，从而在模型不同卷积层之间建立一条捷径，使得梯度信息在层次较深的网络模块中实现回传。然后在此基础上采用生成对抗网络生成高频信息，用来补充图像或视频帧细节，获得更加真实的高分辨率图像，达到提升重建结果的目标。

图像超分辨率(Super-resolution, SR)重建是图像复原的重要分支之一，通过算法对图像或视频帧进行修复，提升原始图像或视频帧的分辨率。目前，通过对单张低分辨率图像进行重建生成单张高分辨率图像的方法大致可以分为三类：基于插值的方法、基于重建的方法、基于学习的方法。

基于插值[1]的方法。插值是比较容易想到也是最先用来进行图像重建的方法。该方法将输入图像信息作为算法的先验知识，算法可以得到较满意的重建效果。不过，因简单插值方法有限的表达能力，很容易在分辨率提升过程中产生振荡，并可能会产生锯齿状纹理，导致最终的重建图像比较模糊。

基于重建[2]的方法。该方法则采取下采样，并强制约束平滑，使得原图像和重建图像一致。该方法有一个明显的缺陷， 当放大倍数过大时， 很多重要的高频细节可能会丢失， 导致重建图像质量大幅度下降。

基于学习[3]的方法。

该方法是目前的研究热点， 通过深度学习网络来解决上述两种方法产生的问题。

该方法对训练样本中的低分辨率图像和相对的高分辨率图像进行字典学习[4]，得到图像之间统计学意义上的关联，然后利用关联来提升低分辨率图像的分辨率，最终得到高清重建图像。

SRGAN [5]将生成对抗网络(GAN)用于超分辨率SR 重建问题，采用生成器重建低频图像内容，通过GANs 补全图像高频细节内容，从而解决传统MSE 损失函数缺少高频信息难题。虽然SRGAN 的重建图像质量超过其他深度学习方法，但SRGAN 更注重于感知相似性，即从图像风格上相似，而不是像素相似性，在细节上可能会出现某些不一致的情况。

本文基于密集网络和残差网络相结合的密集残差单元来改进SRGAN 中的生成器结构，可以在使用更深的网络层次进行重建图像低频信息时，不会导致梯度消失，在此基础上优化目标函数，从而提高训练效率。训练好的模型在Set5、Set14、Urban100、BSD100 等公开数据集中进行了测试，实验结果表明本文的改进方法有效，具有较明显提升。

2. 相关理论 2.1. 生成对抗网络GAN GAN 是一种生成式神经网络[6]，它把训练过程比作两个参与者竞争的过程。其中，生成器通过学习