人脸图像性别转移鲁棒模型研究

人脸图像性别转移属于图像风格迁移问题的特例，运用一般的生成对抗网络模型往往不能对人脸部分进行高质量迁移，且无关背景域常常出现扭曲模糊现象，人脸肤色也不能保持原颜色。针对上述问题，本文在基于改进MUNIT的人脸图像性别转换模型的基础上，提出具有鲁棒性质的人脸图像性别转移模型。首先对输入模型的人脸图像进行人脸解析(Face Parsing)，准确将图像中的人脸部分输入到模型中进行训练学习，以解决图像中无关背景域对模型训练的影响；其次构造新的损失函数，将模型生成前后的人脸部分做基于颜色的直方图匹配(Histogram Matching)，从而将人脸性别转移前后的肤色保持一致；最后对公开人脸数据集CeleBA进行属性筛选，以减少人脸遮挡，眼镜等影响模型训练的不利因素，从而提高生成图像的质量。实验结果表明，与其他经典算法相比，本文所提方法可以有效保留图像背景区域以及人脸肤色，并生成效果更好的人脸性别转移图像。

近年来，随着人工智能技术的不断发展，人们的生活方式发生了极大改变，各种关于人脸的深度学习技术运用到生活的方方面面，如人脸识别[1] [2] [3]，人脸美化[4] [5] [6]以及人脸属性编辑[7] [8] [9]等等。当下各类短视频软件是比较火爆的娱乐方式之一，其内部强大的美颜效果以及各种滤镜都受到用户的追捧，其中关于人脸图像性别转移的滤镜一经发布都能引起社交网络传播热潮，在国内外都受到用户的广泛关注。

人脸图像性别转移就是将男(女)性的人脸在保持原本身份的前提下转换成为女(男)性的人脸，如下图1 所示，一般通过生成对抗网络(Generative Adversarial Networks, GAN) [10]实现。人脸图像性别转移任务可以视为风格迁移问题的一种特殊情况。

Zhu 等人[11]引入循环一致性损失， 将图像从源域转移到目标域， 可以在不配对的数据集中间进行图像风格转换，但该方法生成的结果会产生粗糙的纹理，并且内容被过度保留， 生成的图像质量不够精细。

在CycleGAN 模型问世后， 有许多相关研究人员基于GAN 网络对风格迁移做了进一步的开发应用。Chen 等人[12]在2018 年提出对抗性门控网络(Gated GAN)，通过门控转换器使输入图像完成不同风格的迁移工作。

Sanakoyeu等人[13]通过对抗判别器对输入图像进行编码解码， 风格化图像集合整体迁移，并利用编码器完成重建损失。陈等人[14]提出将每个风格集中到StyleBank 部分，在转换新风格图像时只需要重新训练StyleBank 就能完成风格迁移。Liu 等人[15]通过感知损失以及保留图像对象，提高训练效率，并提出新的目标函数，增加了输出图像的风格多样性。Ma 等人[16]将图像分为内容特征与风格特征，且两者可以完全分离，利用对偶一致性损失来实现语义相关的风格迁移。

Huang 等[17]在2018 年提出多模态无监督图像转换网络(MUNIT)，它将图像的隐藏编码进一步细化为图像内容编码和图像风格编码，通过改变编码的方式来完成图像的风格交换，但对于特定人脸图像性别转