基于域特定批量归一化的对抗域适应图像分类

无监督域适应(UDA)旨在将知识从带有大量标签的源域迁移到没有标签的目标域。目前的研究主要集中在统一两个域的特征分布上。然而，目标域通常具有更为复杂的背景信息，源域和目标域的全局特征分布并不相同，在源域和目标域之间直接共享整个网络强制全局分布对齐会导致性能的下降。针对此问题，提出了一种新的基于域特定批量归一化的对抗域适应模型。首先，采用对抗性学习损失模块，综合考虑域对齐和类别对齐，从对抗学习获得的混淆矩阵中自动构建一个新的损失函数来矫正自训练中的伪标签；其次，在卷积神经网络(CNN)的编码器架构中引入域特定批量归一化模块(DSBN)，通过分离批量归一化层来分别适应源域和目标域。将域特定信息与域不变信息分离，更好地学习域不变特征表示，来获得更好的泛化性能。最后，本文的方法在Office-Home数据集和Office-31数据集的准确率分别达到67.4%和89.4%，验证了模型的有效性。

目前在域适应方面的工作主要基于两种技术：域对抗学习和自训练。然而，域对抗学习只对齐领域之间的特征分布，而不考虑目标特征是否具有判别性。另一方面，自训练利用模型预测来增强对目标特征的识别，但它无法明确地对齐域分布。为了将这两种方法的优势结合起来，ALDA [1]通过引入了混淆矩阵以减少差距并对齐特征分布，该矩阵是通过对抗性方法学习的。从学习的混淆矩阵中自动构建一个新的损失函数，用作未标记目标样本的损失来校正伪标签。该方法可以同时考虑域对齐和类别对齐。尽管如此，由于源域和目标域具有不同的特征分布，该方法共享整个网络会导致性能的下降，仍然没有将域不变特征和域特定特征很好地分离。而本章的方法通过针对不同的域使用不同的批量归一化层，在学习域不变特征表示的同时进行域特定特征分离，获得更好的泛化性能，有效避免了上述问题。

我们认为出现上述问题的原因主要是由于源域和目标域之间是具有很多相似性的，因此我们经常需要依靠源域中的信息来学习网络适应未标记的目标域数据，所以两个域共享组件是不可避免的。因此， 本章在基于对抗性域适应的基础上，同时考虑了类别对齐，通过构建新的目标域的损失函数来矫正伪标签。在此基础上，为了更好地学习域不变特征，使得分类器更准确，我们也考虑了分别对源域和目标域使用特定的批量归一化层的参数来捕获域特定信息，并利用该参数将域特定信息转换为域不变表示，使得模型具有优异的性能。

2. 相关知识 批量归一化层 批量归一化层(BN)是卷积神经网络中广泛使用的模块，用H W NX××∈表示每个通道的激活，则BN可以表示为：