MEAAD: Multi-Expert Adversarial Attack Detection in Person Re-identification Using Context Inconsistency

基于上下文不一致性的行人重识别的多专家对抗攻击检测
领域：Adversarial Attack

Motivation

Person-reid旨在跨多个非重叠摄像头检索行人，基于深度神经网络(DNN)的reid模型通过学习行人的可区分特征来计算距离度量模型，近年来在公共安全视频监控或刑事识别中得到了广泛的应用。但是reid模型继承了DNN对有攻击性的例子(adversarial example)的脆弱性，这些例子通过轻微地扰动输入图像，导致DNN做出错误的预测，检测这些有攻击性的例子是健壮reid系统的要求。

如图所示，通过攻击查询图片后，返回的候选集往往与真实图片在视觉上明显相似度下降。

且没有受到攻击的(benign)查询图片和它的支持集在特征层面比较聚集，受到攻击的(perturbed)图片和它的支持集在特征层面比较分散。
总体来说，经过攻击后的查询图片和支持集上下文一致性会更弱，所以提出了论文的方法：基于检测上下文一致性来检测查询图片是否受到攻击。
在MEAAD中使用的上下文包括三种关系：（1）Query-Support Affinity：query图片与单个专家模型返回的支持样本的关系 （2）Support-Support Affinity：单个专家模型返回的支持样本间的关系 （3）Cross-Expert Affinity：一个专家模型返回的支持样本和另一个专家模型返回的支持样本的关系

Method

Overview:

MEAAD总体结构如图所示，给定查询图片和图库集作为输入，论文把专家系统检索返回的图库集中前K(k=15)张图片作为支持集。经过每个专家模型后得到返回的支持集，利用查询图片以及支持集、计算上述的三个关系，再把关系矩阵展平得到各自的一维向量（图中的蓝、红、绿向量），进行拼接后得到总体的一维向量，作为detector的输入，detector是一个简单的MLP，返回的结果是受到攻击与否(0/1)。
Threat Model
论文先介绍了攻击的方式，假设攻击者能够通过干扰查询图像进行攻击，但不会攻击图片库的图像，这是由于图库集往往非常大，攻击大量的图库图像非常耗时，所以攻击图库集的是不太现实的。

Context feature consistency

(1) Query-Support Affinity

如图所示，没有受到攻击的查询图片(benign)与查询集的相似度往往会更大，而受到攻击的查询图片(perturbed)与查询集的相似度却会更小。
通过该现象我们可以通过计算query-support关系矩阵来描述Query-Support Affinity

Sj代表的是第j个专家模型返回的支持集，则Aq-s为一个N*K的矩阵，其中N为专家模型的个数、K为支持集的长度。

(2) Support-Support Affinity

如图所示，同一个专家模型内没有受到攻击的(benign)支持集间的相似度往往会更大，而受到攻击的查(perturbed)支持集间的相似度却会更小。
通过该现象我们可以通过计算support-support关系矩阵来描述Support -Support Affinity

Sj代表的是第j个专家模型返回的支持集，则As-s为一个NK’的矩阵，其中N为专家模型的个数、其中K’ = K(K-1), K为支持集的长度，K*(K-1)/2是指K张图片都与其他的K-1张图片计算距离，但是由于余弦距离有对称性，所以除以2。

(3) Cross-Expert Affinity

如图所示，没有受到攻击的(benign)专家模型间的支持集的相似度往往会更大，而受到攻击的查(perturbed) 专家模型间的支持集的相似度却会更小。
通过该现象我们可以通过计算Cross-Expert关系矩阵来描述Cross-Expert Affinity

1(·)代表的是该图片在i个专家模型的支持集中出现且在第j个专家模型的支持集中出现时为1，否则为0。则Ac-e为一个N*K的矩阵，其中N为专家模型的个数, K为支持集的长度。
Adversarial attack detector
对抗攻击检测器讲上下文特征作为输入，输出结果为受到攻击与否(0/1)

抽象而来就是对输入的一维向量进行分类任务，其中分类器为MLP。

Experiments：

与过去的方法做对比：

其中(voting)是简单地使用所有专家模型的公共支持集样本的数量，是否大于一个阈值来判断攻击或良性。
Deep Mis-Ranking：一种数字攻击，通过扰乱检索的图片的排序公式来扰乱reid的结果。
advPattern：一种物理攻击，通过在衣服上添加了printable adversarial pattern，论文中直接将pattern数字化加入到人物图像中。

专家模型的消融实验：

其中，AR是测试的目标专家模型，可以看出，如果不使用目标模型进行训练的话，准确率下降4%左右。而最好的结果是使用4个目标专家模型进行训练。

支持集K大小的对比实验：

三个上下文关系的消融实验：