基于元学习和位置信息的小样本学习方法

随着小样本学习的发展，元学习已经成为一种流行的小样本学习框架，其作用是开发能够快速适应有限数据和低计算成本的小样本分类任务模型。最近有关注意力的研究已经证明了通道注意力对于特征提取效果有一定的提升，但是它忽略了位置信息的作用，位置信息对于在小样本任务中更好地从有限的数据中学习来说很重要。基于这一事实，本文提出一种新的方法，通过在所有基类上预先训练一个加入位置信息注意力的分类器，然后在基于最近质心的小样本分类算法上进行元学习，实现了将位置信息和提取特征有效的结合。通过在两个标准的数据集上实验，和当下主流的小样本图像分类方法相比，该方法在Mini-ImageNet数据集的1-shot与5-shot任务上分别提升1.23%和1.02%，在Tiered-ImageNet数据集上，也分别提升0.85%和0.78%。实验表明该方法有效的发挥了位置信息的作用，可以提升小样本图像分类的准确率。

人类可以通过观察很少的几个例子，就能够适应一项新的任务，这是因为人类的大脑具有良好的学习能力。目前人工智能算法往往需要大量训练数据，但是在很多时候，去收集这些大量的带标签数据的成本是非常高，有时甚至是不可能做到的。比如，冷启动建议[1]和药物发现[2]。为了使人工智能去模仿人类的学习能力， 小样本学习[3] [4]被提出来用于训练网络。

小样本学习可以被看作是更广泛的元学习[5]的一个特殊案例，与传统机器学习的不同点在于，小样本学习的目标是从一组具有丰富标记样本的基类中训练分类器，然后转移到具有少量标记样本的新类[6]。

在当前的环境下，小样本学习的研究方法大致分为四种，即基于度量的方法[7] [8]、基于优化的方法[9]、基于图形的方法[10]和基于语义的方法[11]。

虽然他们的方法不同， 但是都遵循元学习中“学会学习”的关键思想，通过元训练和元测试两个阶段来解决小样本问题。具体来说，就是先在基类的训练样本中抽取小样本任务，并训练模型使得其在这些任务上表现良好。任务通常采用N-way 和K-shot 的形式，其中每个类都包含K 个支持样本和Q 个查询样本。

小样本学习的目标是在学习完毕之后， 将这Q 个查询样本准确地分类。

基于这一思想， 领域内最近的工作集中于改进元学习结构， 越来越多的元学习方法[12] [13]被提议用于小样本学习。

近期在文献[14]中发现通过额外的预训练阶段可以明显的提升效果。

文章首先通过在整个基类上预训练一个分类器基线，用以学习视觉表示，之后去除最后一个与类相关的全连接层， 把它当作一个特征提取器。然后给定一个样本数较少的新类，计算给定样本的平均特征，并利用特征空间中的余弦距离，即余弦最近质心，按最近质心对查询样本进行分类。在元训练阶段，用基于度量的元训练方式对预先训练好的分类器基线进行微调。在元测试阶段，通过具有余弦距离的最近邻分类器和基于均值的原型对新类进行分类。从结论上看，元训练可以进一步改善分类器基线的性能。

虽然基于预训练的元学习方法取得了不错的改进，但是这种方法忽略了位置信息的重要性，位置信息对于在视觉任务中捕获对象结构至关重要[15]。迄今为止，最流行的挤压和激发注意力机制[16]只考虑了编码通道间的信息，通过二维全局池化计算通道注意，也没有考虑到位置信息。后来的工作，如BAM