基于Transformer和不可分加性小波的图像超分辨率重建

针对目前超分辨率重建存在纹理模糊、扭曲等问题，提出了一种基于Transformer和不可分加性小波的网络。该网络由小波分解模块、纹理提取模块、浅层特征提取模块、用于纹理匹配的相关嵌入模块、纹理传输模块、用于纹理融合的跨尺度集成模块共六个模块组成。我们对此网络的重建性能在相关的测试数据上与已有的典型方法进行了对比研究，实验结果表明，该网络不仅提升了视觉效果，而且获得了较好的客观指标评价，在所比较的六种方法中，所构建网络在CUFED5、Sun80和Manga109数据集上的峰值信噪比(PSNR)和结构相似度(SSIM)都具有最佳性能。

图像超分辨率(Super Resolution, SR)重建是在低分辨率(Low Resolution, LR)图像的基础上，获得高分辨率(High Resolution, HR)图像，属于计算机视觉领域的重要分支之一，可以为目标检测、图像分类等任务提供服务，以提高准确性和正确率。图像超分辨率重建不仅可以应用于医学、遥感等领域，而且让图像分辨率不再受限于昂贵的硬件条件。

传统的超分辨率重建分为三类：① 基于插值法的超分辨率重建。② 基于重建法的超分辨率重建。

③ 基于学习法的超分辨率重建， 这里的学习是浅层学习。

主要包括机器学习、稀疏编码等方法。

近年来， 由于深度学习的快速发展，浅层学习法中的机器学习逐渐演变成基于深度学习的超分辨率重建。

2014 年， 香港中文大学的团队提出的SRCNN [1]是首次使用深度学习来进行图像重建的算法， 之后该团队又提出了FSRCNN [2]。Jiwon Kim 等人也改进了SRCNN，提出了VDSR [3]和DRCN [4]。

2017 年，Christian Ledig [5]等人提出了SRResNet 和SRGAN，使用了带有跳跃连接的深度残差网络(ResNet)。

而且SRGAN 里首次将生成对抗网络(Generative Adversarial Networks, GAN)应用于SR 领域， 并将感知损失函数[6] (Perceptual Loss)表示为内容损失(Content Loss)和对抗性损失(Adversarial Loss)的加权和。韩国首尔国立大学的团队以SRResGAN 为基础，提出了EDSR [7]，改进了残差单元，删除了BN 层。Wang 等人则在SRGAN 和EDSR 的基础上，提出了ESRGAN [8]，在网络结构上使用了RRDB 作为基本构建模块。以上方法都是单图像超分辨率重建(Single Image Super-Resolution, SISR)， 传统的SISR 方法通常会导致模糊效果， 因为高分辨率纹理在退化成低分辨率图像过程中被过度破坏， 无法恢复。

而在基于参考的图像超分辨率重建(Reference-based Image Super-Resolution, RefSR)方面， 郑等人先利用块匹配提出了SS-Net [9]。之后郑等人又提出了CrossNet [10]，使用了编码器、跨尺度扭曲、解码器， 解决了块间不匹配、网格效应和优化不高效的问题。为了增强模型的鲁棒性，Zhang 等人提出了SRNTT [11]。

SRNTT 对预训练的VGG 中提取的参考图像纹理和LR 图像纹理进行多级匹配， 然后根据纹理相似