Accepted by International Conference on Computer Vision（ICCV 2021），发文高校和企业为美国杜兰大学、美国Adobe系统公司。
1.摘要
无监督域适应解决了在注释良好的源域和未标记的目标实例的共存下的知识迁移问题。UDA 的常见方法是通过学习域不变的特征表示来减少跨域分布差异。一般来说，这些方法可以大致分为基于差异的方法，以及基于对抗的方法，尽管这些方法取得了一定成功，但它们严重依赖两个域数据的可用性。
然而，由于数据隐私或小型设备中的内存存储不足，许多实际应用中的源域并不总是可以访问。这种被定义为被动域适应的场景只允许访问训练有素的源模型以进行目标学习。
2.背景
数据隐私等实际问题与 UDA 设置之间的冲突激发了Source-free Domain Adaptation的新研究方向，只提供经过良好训练的源模型而不是经过良好注释的源数据来实现对目标数据的适应。
一些方法通过假设源分类器包含足够的知识，试图直接调整目标特征以适应源分类器，SHOT作为一种简单而有效的方法，冻结了源分类器，并集成了伪标签监督和熵最小化，以缩短目标特征与源分类边界之间的距离。
然而，当源域中的数据不平衡或不足时，由于源分类器的泛化能力低，上述冻结分类器方法的性能下降。这些方法很难将具有大方差的丰富目标特征移动到小源分类边界。作者从另一个角度提出了一个问题：是否可以在模型优化过程中寻找新的特定于目标的分类器并适应目标特征。
3.思想
作者提出了一种新的自适应对抗网络（A2Net）来解决 Source-Free 域自适应问题。为了实现分类器的灵活调整并保留原始源知识，我们的工作首先引入了一种新的目标分类器，然后利用双分类器设计来实现对抗域级对齐和对比类别匹配（CCM）。
具体来说，根据源分类器和目标分类器的预测，我们自适应地将目标样本分为两类：源相似集和源不相似集。通过在双分类器和特征生成器之间建立这种对抗关系，A2Net 逐渐消除了源相似集和源不相似集之间的显著差异，并通过更新目标分类器来弥补冻结源分类器的缺陷。
为了进一步学习判别特征，我们的工作将包含两个任意目标图像的配对样本的关系视为三个级别：正、不确定和负对，并在所有正对上开发对比类匹配以加强它们的关联。
4.创新与贡献
1.首先，所提出的 A2Net 集成了一个可用于优化的新的灵活分类器和冻结源分类器以形成我们用来自适应区分源相似目标的双分类器架构来自不同来源的样本并在它们之间实现对齐。
2.其次，A2Net 以自监督学习的方式学习鲁棒性和判别性特征。具体来说，对比类别匹配模块依靠源知识来探索配对目标特征的关联并强制正向关系以实现类别对齐。
3.最后，我们进一步增强模型以通过自监督旋转来学习额外的语义。三个基准的实验结果充分验证了 A2Net 在无源场景下的有效性。
5.问题的引出
训练后的源模型（黑色）和目标（红色）特征分布示意图。目标样本可以分为两个子集：源相似集和源不相似集。正方形和圆形代表两个不同的类别。
源分类器（实线）在循环类只有几个数据点的不平衡数据上进行训练。受冻结分类器的限制，这导致在不同源集上的分类性能较差。
A2Net 基于在源域中训练的冻结分类器（实线）自适应地学习新的分类器（虚线）。
6.A2Net模型
首先，自适应区分来源相似（每个类别的源域分布相似）的目标样本和不同来源的目标样本，并采用引入的目标分类器，通过软对抗方法消除它们的差异。
其次，我们的方法探索了对比类别匹配（CCM）来加强正配对样本的关系。
最后，A2Net 利用自监督旋转来学习更鲁棒和有区别的特征。
6.1 软对抗推理
应当如何区分source-similiar/source-dissimiliar features，我们很难在高维特征空间中根据特征距离对分类边界进行学习。
受投票机制启发，本文选择对分类器的输出进行比较而决定feature的类型。
首先将目标样本输入到源分类器和目标分类器，得到概率分布，随后对两个分类器的输入结果进行concatenation操作，经过softmax输出，得到联合概率，再通过计算voting score，假如源域得分比目标域得分高则化为源相似样本，反之为源不相似样本。
目标分类器和特征提取器的优化公式如下
然而，当目标域分类器的置信度很高时，上述损失函数效果很好，但如果不是呢？因此，本文提出在接受新的目标领域知识和保留源领域知识之间进行权衡，因此将上述损失改为：
其中，在训练过程中，投票分数是固定的。
如果能实现域对齐,目标域分类器也就能对source-similiar的样本进行分类。针对成对分类器，本文提出一种Soft-adversarial mechanism，具体损失函数如下所示：
6.2 对比类别匹配
我们设计了一种新颖的判别双分类器来探索配对样本的关联，从而以无监督的方式实现类对齐
在一个batch中有两个样本，都通过源分类器转换到标签空间。由于需要设定阈值来判断样本是否同属一类，这往往会有错误。因此，将一个batch中的样本分为三类，通过对比上下界大小来确定
为了实现类对齐，必须进一步加强正向关系来学习更多相似的特征，函数如下：
由于冻结源分类器，该属性被传递到特征生成器的输出中，使得来自同一类的样本在高级特征空间中分布得更近，如下所示：
6.3 自监督旋转
当只对源域数据进行监督训练源分类器时，它严重依赖给定的源数据，分布往往不平衡。在迁移到目标域时，会更倾向于将目标域样本预测为源域中的相似样本，从而限制了目标域分类器的泛化能力
探索了目标域上的自监督旋转方式（0°，90°，180°，270°）来增加样本空间，从而增强了特征提取和目标分类器的学习，目标函数为
通过识别旋转程度，该模型有效地从原始图像中捕获重要的视觉信号以进行对象分类。
6.4 总目标函数
上面的描述具体说明了我们的方法如何用于无源域自适应。很容易注意到，模型的训练主要涉及三个模块的更新（即特征生成器F、旋转分类器Cr和目标分类器Ct），总体目标如下：
采用迭代方式交替优化三个模块。首先，源分类器和目标分类器将来自生成器的特征作为输入来访问我们用来通过方程更新特征生成器和旋转分类器的类预测（公式5）。其次，我们只在用方程固定 F和Cr优化目标分类器（公式6）。第三，对抗训练重复上述两个步骤，直到我们达到收敛或最大。
7.实验
7.1 Office-31（3个域共31个类）
A2Net 在无监督目标域上进行评估时，提供了训练有素的源模型，具有更强大的适应能力，特别是对于小规模源域。例如，在 Office-31 上以 D 和 W 作为源域，我们的方法在适应目标域 A 时比 SHOT 的第二高准确率分别高出 2.0% 和 1.8%。
7.2 Office-Home（4个域共65个类）
方法还有效地克服了显著领域差异的负面影响。据我们所知，由于图像风格的巨大差异，Ar 和 Cl 之间存在显著的域偏移。然而，A2Net 在这个适应任务上超过了 SFDA 10%，因为我们提出的方法自适应地将源相似的目标样本与源不同的目标样本区分开来，并探索了对抗方式以逐渐消除域差异。
7.3 VisDA（合成域和真实域共12个类）
算法在大规模基准测试中解决无源域自适应问题是有意义的。具体来说，A2Net 在 VisDA 上的大多数自适应任务中获得了比其他最先进的方法更高的分类精度，并且在公共汽车和汽车等几个令人困惑的对象上进行了更准确的识别。
7.4 可视化
以 A（较大规模） 作为源域，A2Net 很容易区分源相似的目标特征和源不同的目标特征，并通过使用软对抗机制逐渐对齐这两个部分。因此，在适应之后，每个类别的目标特征（由 A2Net 产生）几乎分布在源域的边界上。在这种情况下，我们的目标分类器与原始源相似，可以准确地识别它们。
7.5 消融实验和敏感度分析
a图参数分析记录了随着η变化的对象识别精度。
b图消融研究显示了消除每个约束对我们模型性能的影响。
c图报告目标分类器的目标识别能力随着 epoch 的增加而增加
8.总结
1.为了克服无源域适应这种新颖的情况，本文提出了包括三个操作的自适应对抗网络。
2.首先，A2Net 开发了一种软对抗机制来学习灵活的目标分类器，以促进对冻结源分类器难以识别的样本的识别；其次，它探索了所有正配对目标样本的对比损失，以加强每个类别子空间的紧凑性；最后，采用自监督旋转从目标图像中学习额外的语义，以学习更多的判别特征。
3.三个流行基准的实验表明我们的方法在没有源数据的情况下有效地实现了域适应。
文章出处登录后可见！
