问题：1、现有的重识别方式无法去识别衣服相同的（黑色的衣服为主） 2、对于弱光的问题，也会使识别的效果降低（弱光衣服就会变黑） 解决方法：提出一种头肩部分的利用，从而有效的缓解这样的问题
现有的重识别方式无外乎几种： 1、基于全局的重识别方式，端到端的计算距离，忽略一些动作信息、遮挡等 2、基于骨骼点的方式，用姿态来对齐，整个训练和测试过程中都使用了位姿估计器，使得网络变大变慢 3、基于分割成局部的特征分别训练，再融合，该方法对姿态变化和遮挡敏感，因为它们可能会比较不同语义对应的部分。 4、注意力放在局部信息，与姿势相比，它可以在较少的监督信号下进行训练。它更关注感兴趣的区域，对背景杂波具有鲁棒性，但尽管如此，关注的区域可能不包含身体部位。 都是基于外在的特征，黑色衣服就不能够适用。
本论文所提出利用头肩信息增强对黑衣人特征的描述，从而实现更有效的人的Re-ID。头肩部位具有丰富的鉴别信息，如发型、面容等，为解决Black Re-ID问题贡献了人的Re-ID。 当图片中有黑色衣服的时候会将注意力集种在人的头部和肩部
网络模型如下：
第一个流程从人物图像中提取全局特征。第二个流程侧重于局部和提取头肩信息，使最终特征更具分辨力，用于处理Black Re-ID问题。 自适应注意模块，以适应全局特征和头肩特征的权重，并根据人是否为黑色而变化。我们使用交叉熵、三元组损失和L2损失来训练我们的端到端模型。 在测试时，从人中提取特征，并计算它们之间的欧几里得距离以匹配具有相同 ID 的人。
第一个流程：将输入图片送进残差网络（只有四层，最后一层删除）中获取到一个特征图C,1/16H,1/16W,再经过平均池化层获得一个2048的向量f(g)，该向量表示的是全身的特征。
与一般重识别不同的是，该论文将人的头肩给提取出来作为一种重识别辅助方式。HLL 是一个端到端的可训练模块，能够对特征图应用仿射变换，包括缩放、平移和旋转。 由于头肩区域是一个简单的边界框，我们只保留缩放和移动的能力，相当于从输入中裁剪。 头肩定位层的变换可以实现如下：如果对于STN变换不了解的，可以参考这篇文章。STN_空间变换网络_X_Student737的博客-CSDN博客_空间变换网络
该论文的注意力机制应用比较巧妙，将向量通过全连接层、激活函数得到一个不同权重的通道，然后再与原始向量进行点积，再通过add进行相加，得到一个不同权重的向量，实现通道注意力机制。再通过sum和激活函数，再得到空间上的不同权重，从而实现空间注意力机制
对于头肩部，也分为注意力机制，比如人脸、眼睛、等。所以将头肩部的图片送进网络中得到一个特征图从头肩区域提取大小为C ×H ×W的特征图，并将其切成3个水平网格。将头肩注意网络(HAN)应用到每个独立的水平切片上，最后拼接得到大小为c × 1 × 1的头肩特征fh，
再将头肩的向量和全局向量经过自适应注意力机制层，得到一个完整的全身加上头肩部的向量，但是可以看下面的图发现权重是不同的。
大多数现有的 Re-ID 方法 直接连接全局和局部特征，忽略了特征权重与输入条件之间的关系。 也就是说，无论输入什么样的人，例如被遮挡或暴露，网络对全局特征的关注与对局部特征的关注相同。 为了缓解这个问题，我们提出了自适应注意模块，通过区分输入类型来确定全局和局部特征权重。 具体来说，自适应注意力流会首先判断它是否是黑衣人，并且比非黑衣人更关注黑衣人的头肩feat。
具体来说，首先，将全局特征 fä 输入一个全连接层以收集大小为 N × 2 的特征用 f b 表示，表示输入的人是否是黑色的, 其中 N 是批量大小。 之后，f b 被送入另一个全连接层，得到大小为 N × 2 的特征图 f w 。 f w 是全局特征和头肩特征的权重，取决于人是否是黑人。 也就是说，当人穿着黑色衣服时，将对头肩特征应用更高的注意力。 最后，整合全局特征和头肩特征。
结果对比展示：
红色表示匹配错误，蓝色表示匹配正确
文章出处登录后可见！
