Diverse Few-Shot Text Classification with Multiple Metrics

Abstract

我们研究自然语言领域的小样本学习。 与将基于度量或基于优化的元学习应用于具有低任务间方差的图像域的许多现有工作相比，我们考虑了一个更现实的设置，其中任务是多样化的。 然而，它给现有最先进的基于度量的算法带来了巨大的困难，因为单个度量不足以捕捉自然语言域中的复杂任务变化。 为了缓解这个问题，我们提出了一种自适应度量学习方法，该方法自动从一组从元训练任务中获得的度量中确定最佳加权组合，用于新出现的少样本任务。 对现实世界情感分析和对话意图分类数据集的广泛定量评估表明，所提出的方法在预测准确性方面优于最先进的少数镜头学习算法。 我们提供我们的代码和数据以供进一步研究 https://github.com/Gorov/DiverseFewShot_Amazon

7 Conclusion

我们提出了一种基于任务聚类的不同任务的小样本学习方法。 当少样本任务来自不同领域时，所提出的方法可以使用多个指标，并且与以前的单指标方法相比表现得更好。 未来的工作包括将任务聚类思想应用于其他 FSL 算法（Ravi 和 Larochelle，2017；Finn 等人，2017；Cheng 等人，2017），并探索超越线性组合的更先进的聚类编码器组合方法 （Chang 等人，2013；Andreas 等人，2016）。

1 Introduction

少样本学习 (FSL) (Miller et al., 2000; Li et al., 2006; Lake et al., 2015) 旨在从每个类的少数示例中学习分类器。 最近，通过从大量元训练任务中学习元模型，深度学习已成功用于 FSL。然后，这些元模型可用于快速适应只有很少训练示例的目标/元测试任务。 此类元模型的示例包括：（1）基于度量/相似性的模型，它学习上下文和特定于任务的相似性度量（Koch，2015；Vinyals 等，2016；Snell 等，2017）； (2) 基于优化的模型，它接收来自 FSL 任务的梯度输入并预测模型参数或参数更新（Ravi 和 Larochelle，2017；Munkhdalai 和 Yu，2017；Finn 等人，2017；Wang 等人 ., 2017)。

过去，FSL 主要考虑图像域，其中所有任务通常是从一个庞大的数据集合中采样的，例如 Omniglot (Lake et al., 2011) 和 ImageNet (Vinyals et al., 2016)，使得来自单个域的任务因此相关。由于这种简化的设置，几乎所有以前的工作都为所有小样本任务采用了一个通用的元模型（基于度量/优化）。然而，这种设置与许多真实世界的小样本文本分类应用程序中的现实场景相去甚远。例如，在企业 AI 云服务上，许多客户提交各种任务来训练文本分类模型以用于特定业务目的。这些任务可以是对客户对不同产品/服务的评论或意见进行分类，监控公众对不同政策变化的反应，或者确定用户在不同类型的个人助理服务中的意图。由于大多数客户无法收集到足够的数据，因此他们提交的任务形成了few-shot设置。此外，这些任务非常多样化，因此一个通用指标不足以处理所有这些任务。

我们考虑一个更现实的 FSL 设置，其中任务是多样化的。 在这种情况下，最佳元模型可能因任务而异。 我们的解决方案基于度量学习方法 (Snell et al., 2017)，关键思想是为 FSL 保持多个度量。 元学习器使用元训练任务上的任务聚类来选择并组合多个度量 （metrics） 来学习目标任务。 在元训练期间，我们建议首先将元训练任务划分为集群，使每个集群中的任务可能相关。

然后在每个集群中，我们训练一个深度嵌入函数作为度量。 这确保了共享的度量（common metric）仅在同一集群内的任务之间共享。 此外，在元测试期间，每个目标 FSL 任务都被分配给一个特定于任务的度量，这是由不同集群定义的度量的线性组合。 通过这种方式，多样化的小样本任务可以从之前的学习经验中得出不同的度量。

所提出的 FSL 框架的关键是任务聚类算法。 以前的工作（Kumar 和 Daume III，2012；Kang 等人，2011；Crammer 和 Mansour，2012；Barzilai 和 Crammer，2015）主要关注凸目标，并假设不同任务的类数相同（例如，经常考虑二元分类）。 为了使任务聚类 (i) 与深度网络兼容并且 (ii) 能够处理具有不同数量标签的任务，我们提出了一种 matrix-completion based task clustering 算法。 该算法利用由矩阵 S 表示的跨任务转移性能测量的任务相似度。S 的 (i, j) 条目是通过将第 i 个（源）任务上的学习表示适应第 j 个（目标）任务来估计的准确度。 我们依靠 matrix-completion 来处理 S 中缺失和不可靠的条目，最后应用谱聚类（spectral clustering）来生成任务分区。

据我们所知，我们的工作是第一个解决多样化的小样本学习问题并报告现实世界小样本文本分类问题的结果。 实验结果表明，所提出的算法在few-shot情感分类和对话意图分类任务上提供了显着的收益。 它为使用多个元模型（度量）处理不同的 FSL 任务的想法提供了积极的反馈，以及提出的自动检测相关任务的任务聚类算法。