简单来说就是在Few-shot Learning问题中加入了跨域问题，具体表现在：在一个数据集上进行Few-shot训练，完成后在另一个数据集Few-shot测试，两个数据集中没有相同的类别。

跨域小样本—cross domain few shot—第一弹

Universal Representation Learning from Multiple Domains for Few-shot Classification (ICCV2021)

问题： 现有解决方案首先会在多个数据集分别训练特征提取器，随后在测试阶段筛选或者融合来自不同提取器的特征，如下图（a）所示，但是针对小样本场景中样本少的问题导致筛选、融合过程难以实现。
创新点： 本文使用对多个特征提取器进行知识蒸馏，从而避免了测试过程中的筛选、融合步骤，下图（b）所示。

具体框架图：

第一阶段，首先在每个域训练对应的特征提取器域分类器
第二阶段，将所有的与冻结，然后使用知识蒸馏来学习
2.1 特征约束： 在知识蒸馏阶段，每个域图像分别进入各自的特征提取器，并进入。的输出特征会进入对应的域适配器进行线性变换。最后使用CKA (一种骚距离度量) 对与的输出进行约束。
2.2 结果约束： 的输出输入到对应的中得到分类结果，的输出输入到冻结的得到分类结果，计算两种结果的KL损失。
两种约束能够在不同层面上帮助网络进行知识蒸馏，在测试阶段使用作为特征提取器，在support-set上训练一个，最后参考Few-shot分类范式，使用与完成query-set的分类。

Cross-domain Few-shot Learning with Task-specific Adapters (CVPR2022)

跟上一篇出自同一个团队 （很专注） 。
创新点： 去除了迁移过程中繁琐的adapter步骤，将task adaptation依附在训练过程中，在训练过程中完成适配。

具体框架：

在ImageNet上训练得到特征提取器
support-set中，在冻结的的各个层间加入 task-specific weights:，具体是加入各种变换。将经过这些变换后得到的特征输入到分类器中进行分类。
超级总结： 在冻结的特征提取器的层之间加入卷积，并最后一层再加入线性变换器。这些简单的操作，再Few-shot setting下就有了神奇的魔力。因为Few-shot是基于episodes训练的，所以训练过程中这些卷积层与最后的变换器拟合了大量的task，具备了元迁移的能力（非常玄乎），为什么有效呢？我认为这种设定，在单domain训练中能够起到增强特征的作用，类似增加一些扰动进去，会增强特征的泛化性；在多domain训练中，由于episodes训练的原因，网络能够收集不同域的经验，起到文中提到的适配的作用，最终适配不同域的数据。