基于GAN的视景图像超分辨率重建方法研究

飞行模拟器是一种用于复现飞行器及空中环境并能够进行模拟飞行操作的装置，在基于飞行模拟器系统进行日常飞行模拟训练时，视景系统所呈现出来的图像质量的好坏将直接影响最终的训练效果。图像超分辨率重建是一种能提升图像质量的有效手段。结合生成对抗网络(GAN)在视觉效果上有着很好的优越性，提出一种基于GAN的视景图像超分辨率重建方法，以提高飞行模拟视景图像显示效果。整个网络由生成器和鉴别器构成，其中生成器由浅层特征提取部分、深层特征提取部分和图像重建三个部分组成，鉴别器采用相对鉴别的思想实现对真伪图像的鉴别。在不同测试集上的实验结果表明，该方法不仅在视觉效果上优于RDN、DRFN等网络，同时，在客观评价指标上也好于它们。

飞行模拟器是一种可以在地面模仿飞机的飞行状态、条件和环境的特殊装置，其可以通过相应的技术手段逼真的再现飞机的飞行特征。飞行模拟器的关键主要是依赖于视景系统对外部环境的模拟，飞行员有70%以上的信息来自于视觉，而外部环境的模拟主要是以视景图像的方式进行呈现，这就造成了飞行模拟器对图像的质量提出了更高的要求，更真实的、分辨率高的、质量更好的图像对飞行训练有着更有效的作用[1]。通过对模拟器的改进，如：增加光学设备和投影设备等组件，虽然能增强图像的分辨率， 改善图像的质量， 但这并不是一个最优的解决方案， 因为合理的成本和模拟器的大小也是需要考虑的[2]。

为解决这个问题， 本文使用一种叫做超分辨率重建的方法， 用于从低分辨率图像中恢复出高分辨率图像， 恢复后的图像拥有更高的图像质量和更好的视觉效果。使用超分辨率技术克服原始分辨率的限制，是一个极具挑战性的过程[3]。

图像超分辨率重建方法除传统方法[4]外， 在深度学习领域主要分为：PSNR 导向和感知驱动导向[5]。

PSNR 导向主要是指通过对CNN 网络进行优化，如：SRCNN [6]、EDSR [7]、RDN [8]、MSFRN [9]和RFN [10]等。这些方法虽然在PSNR 上取得了卓越的性能，但图像的视觉效果较差，易出现伪影，时间开销也较大。

感知驱动是指以生成质量较好的图像为目标， 如：SRGAN [11]、LPIPS [12]、ESRGAN [13]、SPSR [5]、和F_ESRGAN [14]等，然而这些网络最终生成的图像虽有着很好的视觉效果，但在PSNR 上的值并不高。为此，本文结合PSNR 导向所体现出的特点以及视景图像在视觉效果上的高要求，提出一个基于GAN 的视景图像超分辨率重建网络，其主要贡献点包括： 1) 提出了一种基于GAN 的视景图像超分辨率重建模型，通过全局和局部的特征融合，并结合对抗思想中的相对鉴别理论，该模型不仅能充分利用图像的特征信息，提高图像的最终重建能力，更能结合人类的感光视觉的特性，生成效果较好的图像。

2) 设计了一种深层特征提取模块，在残差块内引入注意力机制，并通过使用低维度的方式，引入较少的计算量，从而提升整体性能。

3) 设计了一种层次特征融合模块，在1 × 1 卷积后，对特征进行分割，接着使用一个高维度的注意