基于生成对抗网络的多角度人脸重构

由于在不同角度下人脸的差异性很大，多角度的人脸重构仍然是一项具有挑战性的研究课题。现存的方

随着深度学习的快速发展和许多大规模数据集[1] [2]的建立， 人脸识别技术在近年来突飞猛进。

然而， 在现实场景中， 由于人脸识别过程中角度和光照等因素的改变， 搭建一个有效的人脸识别系统十分困难。

通常，有两种方法来解决这个问题，第一种是对比某些不会随人脸角度而改变的特征[3]，另一种是通过人脸转正[4]的方式来生成正脸图像。

对于第一种方法，在过去二十年中，一些方法例如LBP [5]，3D-LBP [6]以及WLD [7]被用来解决局部扭曲的问题，然后采用度量学习[8]的方法来实现角度不变性。第二种人脸旋转方法[9]是采用深度学习的方法来把一张侧脸图像转换为一张正脸图像。通过把一张侧脸图像转正人脸正面化的方法有效地提高了人脸识别的准确率。

之前的一些工作采用监督学习的方式来训练一个深度回归模型[10]来进行人脸转正。

最近几年，由于生成对抗网络[11]的出现，一些更加先进的生成对抗网络模型被提出。DR-GAN[12]实现了人脸特征和角度信息的解耦合。

作为一种代表性方法， TP-GAN [13]采用了一种双通路的网络结构来同时获取人脸的全局和局部特征，然后把上述两种特征融合在一起构造出真实的人脸图像。然而，我们认为TP-GAN 有两方面的局限性。首先，它的网络结构和损失函数适合进行人脸转正但是却不能进行多角度的人脸生成。另外，TP-GAN 需要生成人脸的真实图像来和生成图像进行比对，所以如果某个角度的人脸图像缺失，那么训练将无法进行。

为了解决这些问题，我们提出了一种多角度人脸生成对抗网络来实现任意角度的人脸互转。具体来说，我们在特征向量上拼接一个角度来自由调节生成人脸图像的角度。由于引入了循环一致性损失，我们提出的多角度人脸旋转算法的训练过程是无监督的，也就是说在本算法的训练过程中不依赖成对的训练数据。

2. 相关工作 2.1. 生成对抗网络 近年来，生成对抗网络(GAN)在图像生成[14]，风格迁移[15]，超分辨率[16]等领域都取得了不错的研究成果。生成对抗网络通常有两部分组成，生成器和鉴别器。鉴别器用来区分这个样本是真实样本还是生成器生成的样本，生成器用来生成尽可能真实的样本来让鉴别器无法做出有效的判断。通过这种博