基于多尺度先验融合的小样本语义分割方法

小样本语义分割侧重于模型泛化能力的提升，用有限的样本为未见类提供像素级分割。现有方法在分割性能上已经取得了巨大的进步，但仍受到部分因素的限制，例如当同类物体中因较大的角度、尺寸等差异，存在类内差异时，将导致模型难以捕捉类别语义。因此，本文提出基于多尺度先验信息融合的小样本语义分割模块，通过提取高级特征中的多尺度先验掩码，为模型补充类别相关信息，降低类内差异的影响。为了融合多尺度特征及其先验信息，本文提出权重自适应特征融合模块，为各尺度添加信息交互，并加权组合特征。最终通过消融实验以及与基类方法和其他经典算法的对比实验，证明了本方法的有效性。

一张数字图像中往往包括丰富的语义信息，包括不同种类的物体、背景等等，通过将图像中的每一个像素划分为不同的区域，来区分出图片中的不同主体类别，从而为后续的图像处理提供便利。这种为图像语义信息提供像素级标注的任务称为图像语义分割，其建立在更简单的视觉任务(例如图像分类和目标检测)的基础上，提供了更为精确的判别信息。

得益于大规模高精度标注数据集的出现和深度模型语义表征能力的不断增强，基于深度学习的图像语义分割方法已经取得了显著的性能提升，能够在标注样本充足的情况下实现准确分割。与传统的语义分割算法相比，现有的基于卷积神经网络的语义分割算法具有表征能力优越、分割性能良好等优势。然而，全监督图像语义分割算法对数据高度依赖，需要大规模、高质量的标注数据进行模型的监督训练， 且现有的图像语义分割算法在泛化能力不足的问题，严重阻碍了分割算法在实际场景中的应用。

针对上述问题，基于多种学习方式的语义分割相继被提出，包括半监督、弱监督、小样本、零样本语义分割等等。其中小样本语义分割旨在利用少量的标注数据对未知类别实现预测，并且在训练和测试过程中都有少量标注数据可供学习，比较符合实际应用场景。然而可学习样本量较少，对模型的学习和泛化能力提出了很高的要求，小样本语义分割目前仍是一个充满挑战性的任务。

在目前的小样本分割研究中，研究人员利用元学习 [1]，原型网络 [2]等方法实现了较为可靠的分割结果。但目前的研究仍受限于两个因素，即支持集和查询集之间的类内差异，以及训练集和测试集之间的类间差异。较大的数据差异导致模型的类别表征能力，以及由支持集向查询集，训练集向测试集的知识迁移能力下降，削弱了分割性能。

本文提出了一种基于多尺度先验信息融合的小样本语义分割方法，通过利用高级特征提取多尺度先验掩码，并添加尺度间信息交互和加权组合，为模型学习补充类别相关信息，降低类内差异的影响，在主流数据集上取得了更好的分割性能。

2. 小样本语义分割算法基础 2.1. 元学习 为了提高小样本限制条件下模型的泛化能力，现有小样本语义分割算法通常采用元学习范式。元学习(Meta-Learning)也被称为“学会学习(Learning-to-Learn)”。元学习本质上是双层优化问题(Bilevel Op-