DEX: Domain Embedding Expansion for Generalized Person Re-identification论文解读

论文地址:https://arxiv.org/pdf/2110.11391这是一篇 domain generalization reid方向的论文,动机很简单,但是实现起来用了大量的数学公式和定理,干货还是很顶的,但是感觉很难复现出来。动机和 UDA方法比,DG可以不需要额外微调操作对未知域进行适应。(动机并不明显)提出 Domain Embedding Expansion (DEX) module, 在训练过程中,基于行人和域标签动态增强深度特征(deep feature augmentation

论文地址:
https://arxiv.org/pdf/2110.11391
这是一篇 domain generalization reid方向的论文,动机很简单,但是实现起来用了大量的数学公式和定理,干货还是很顶的,但是感觉很难复现出来。

动机

和 UDA方法比,DG可以不需要额外微调操作对未知域进行适应。(动机并不明显)提出 Domain Embedding Expansion (DEX) module, 在训练过程中,基于行人和域标签动态增强深度特征(deep feature augmentation)。此外提出一个轻量化版本,运用负样本采样技术,针对大数据集减少memory的使用。DEX可以即插即用。

思路

在特征层面做特征增强,通过隐式地在域分布方向投影特征点,提高域流形覆盖。(理解:让特征在不同域上有重叠分布同时不破坏原来的域分布?)

DEX: Domain Embedding Expansion for Generalized Person Re-identification论文解读

每个深度特征沿着采样自零均值正态分布的方向进行投影,并从特征域估计协方差矩阵;这是为了将来自不同领域的特征投射到对应于其领域有意义的语义转换的方向上。在训练过程中在线估计协方差矩阵。与ISDA[30]类似,数据样本没有显式地受到干扰。相反,我们优化了一个代理损失函数,该函数的上限是扰动数据样本的预期交叉熵损失。

原始的分类损失:

DEX: Domain Embedding Expansion for Generalized Person Re-identification论文解读

假设预期的 loss 是深度特征沿着域条件协方差分布:即ai波浪满足分布:DEX: Domain Embedding Expansion for Generalized Person Re-identification论文解读

DEX: Domain Embedding Expansion for Generalized Person Re-identification论文解读

ai波浪就是增强特征。然后利用性质:
DEX: Domain Embedding Expansion for Generalized Person Re-identification论文解读

得到一个增强特征损失的一个上限:

DEX: Domain Embedding Expansion for Generalized Person Re-identification论文解读

DEX: Domain Embedding Expansion for Generalized Person Re-identification论文解读
再利用指数函数的期望公式:,把上限中的ai波浪的期望值写出来,即:

DEX: Domain Embedding Expansion for Generalized Person Re-identification论文解读

总结:

backbone提取的特征进行增强,并对增强的特征的损失上限进行约束。

实验

DEX: Domain Embedding Expansion for Generalized Person Re-identification论文解读

DEX: Domain Embedding Expansion for Generalized Person Re-identification论文解读

版权声明:本文为博主murphys_law_dj原创文章,版权归属原作者,如果侵权,请联系我们删除!

原文链接:https://blog.csdn.net/sdsfddfw/article/details/122562624

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
上一篇 2022年1月18日 下午4:55
下一篇 2022年1月18日 下午5:24

相关推荐