回顾:计算机视觉中的通道注意机制

回顾:计算机视觉中的通道注意机制

这是一篇从数据领域的角度将注意力机制分为六类的综述,涵盖了大量论文。

论文题目:Attention Mechanisms in Computer Vision: A Survey

论文链接:https://arxiv.org/pdf/2111.07624.pdf

论文代码:https://github.com/MenghaoGuo/Awesome-Vision-Attentions

ABSTRACT: 人类可以自然有效地在复杂场景中发现显著区域。在这种观察的激励下,注意力机制被引入计算机视觉,目的是模仿人类视觉系统的这一方面。这种注意力机制可以看作是一个基于输入图像特征的动态权重调整过程。注意力机制在许多视觉任务中取得了巨大的成功,包括图像分类、目标检测、语义分割、视频理解、图像生成、三维视觉、多模态任务和自监督学习。在这项调查中,我们对计算机视觉中的各种注意力机制进行了全面的回顾,并根据方法对它们进行了分类,如通道注意、空间注意、时间注意和分支注意;相关代码在https://github.com/MenghaoGuo/Awesome-Vision-Attentions。我们还提出了注意力机制研究的未来方向。

image-20220227093628512

图1 注意力机制根据数据域分类。其中包含了四种分类:通道注意力、空间注意力、时间注意力、分支注意力,其中有两个重叠类,即通道-空间注意力、空间、时间注意力。空集表示这种组合还不存在。

image-20220227094154669

图2 通道、空间和时间注意力能够被看作是在不同的域(维度)上操作。C表示通道域,H和W表示空间域,T表示时间域。分支注意力是对这些的补充。

1. INTRODUCTION:

将注意力转移到最重要的部分称为注意力机制;人类使用视觉系统来帮助有效地分析和理解复杂的场景。这反过来又促使研究人员将注意力机制引入计算机视觉系统以提高其性能。在视觉系统中,注意力机制可以看作是一个动态的选择过程,根据输入的重要性对特征进行自适应加权。注意力机制在许多视觉任务中都是有益的,例如:图像分类、对象检测、语义分割、人脸识别、人员重新识别、动作识别、few-shot learning、医学图像处理、图像生成、姿态估计、超分辨率率、3D 视觉和多模式任务。

image-20220226205958537

图3 CV中的attention发展史

过去十年,注意力机制在计算机视觉中逐渐起重要作用。图3简要地总结了基于deep learning 的CV领域中attention-based模型的发展历史。成果大致可以分为四个阶段。

  1. 第一阶段:从RAM开始的开创性工作,将深度神经网络与注意力机制相结合。它反复预测重要区域。并以端到端的方式更新整个网络。之后,许多工作采用了相似的注意力策略。在这个阶段,RNN在注意力机制中是非常重要的工具。
  2. 第二阶段:从STN中,引入了一个子网络来预测放射变换用于选择输入中的重要区域。明确预测待判别的输入特征是第二阶段的主要特征。DCN是这个阶段的代表性工作。
  3. 第三阶段:从SENet开始,提出了通道注意力网络(channel-attention network)能自适应地预测潜在的关键特征。CBAM和ECANet是这个阶段具有代表性的工作。
  4. 第四阶段:self-attention自注意力机制。自注意力机制最早是在NLP中提出并广泛使用。Non-local网络是最早在CV中使用自注意力机制,并在视频理解和目标检测中取得成功。像EMANet,CCNet,HamNet和the Stand-Alone Network遵循此范式并提高了速度,质量和泛化能力。最近,深度自注意力网络(visual transformers)出现,展现了基于attention-based模型的巨大潜力。

表1 简要总结注意力机制分类

Attention cateory Description Translation
Channel attention(what to pay attention to) Generate attention mask across the channel domain and use it to select important channels 在通道域中生成注意力掩码,并使用它选择重要通道
Spatial attention(where to pay attention to) Generate attention mask across spatial domains and use it to select important spatial regions or predict the most relevant spatial position directly 生成跨空间域的注意力掩码,并使用它来选择重要的空间区域或直接预测最相关的空间位置
Temporal attention(when to pay attention to) Generate attention mask in time and use it to select key frames 及时生成注意力掩码,并使用它选择关键帧
Branch attention(which to pay attention to) Generate attention mask across the different branches and use it to select important branches 在不同的分支上生成注意力掩码,并使用它来选择重要的分支
Channel & spatial attention Predict channel and spatial attention masks separately or generate a joint 3-D channel, height, width attention mask directly and use it to select important features 分别预测通道和空间注意力掩码,或直接生成一个联合的三维通道、高度、宽度注意力掩码,并使用它选择重要特征
Spatial & temporal attention Compute temporal and spatial attention masks separately, or produce a joint spatiotemporal attention mask, to focus on informative regions 分别计算时间和空间注意力掩码,或生成联合时空注意力掩码,以关注信息区域

image-20220227110705751

图4 视觉注意力的发展

2. 计算机视觉中的注意力机制

表2 本文中的符号含义。在使用的地方解释了其他次要符号

Symbol Description Translation
X input feature map,

X

R

C

×

H

×

W

{X\in{R^{C\times{H}\times{W}}}}

XRC×H×W

输入特征图,维度
Youtput feature map输出特征图
Wlearnable kernel weight待学习权重
FCfully-connected layer全连接层
Convconvolution卷积层
GAPglobal average pooling全局平均池化
GMPglobal max pooling全局最大池化
[ ]concatenation拼接(串联)
δReLU activationReLU激活函数
σsigmoid activationsigmoid激活函数
tanhtanh activationtanh激活函数
Softmaxsoftmax activationsoftmax激活函数
BNbatch normalization批标准化
Expandexpan input by repetition重复输入

2.1. 通用形式

当我们在日常生活中看到一个场景时,我们会将注意力集中在识别区域并快速处理这些区域。上述过程可以表示为:

%7BAttention%20%3D%20f%28g%28x%29%2Cx%29%7D

%7Bg%28x%29%7D可以表示为产生注意力,这对应于注意待识别区域的过程;%7Bf%28g%28x%29%2Cx%29%7D表示基于attention%7Bg%28x%29%7D处理输入x,这与处理关键区域、获取信息是一致的。

根据上述定义,我们发现几乎所有现存的注意力机制都能够被写成上述形式。这里我们列举了self-attention的Non-Local和spatial attention的SENet。

Non-Local可以写成:

image-20220227113942605

SENet可以写成:

image-20220227114054969

因此,我们将以上面的形式介绍各种注意力机制。

2.2 通道注意力 | channel attention | what to pay attention to

image-20220227114926775

2.2.1 SENet

image-20220228094526750

image-20220227114424708

  1. squeeze模块:全局平均池化(GAP),压缩通道%5BH%2CW%5D->%5B1%2C1%5D
  2. excitation模块:后接全连接层(W_1)->ReLU层(δ)->全连接层(W_2)->Sigmoid(σ)
  3. 将得到的结果与原始特征图相乘,给每个通道赋予不同的权重

2.2.2 GSoP-Net

image-20220228094331225

创新点:改进了squeeze模块。global average pooling(GAP) -> global second-order pooling(GSoP)

image-20220227115020107

动机:SENet仅仅采用了全局平均池化方法,GSoP-Net认为这是不够的,这限制了注意力机制的建模能力,因此提出了global second-order pooling(GSoP) block在收集全局信息的同时对高阶统计数据建模.

和SEBlock一样,GSoPBlock同样有 squeeze和excitation两部分结构。

  1. squeeze模块:
  2. %7B1%5Ctimes1%7D卷积(Conv)将通道维度从%5BC%2CH%2CW%5D->%5BC%5E%7B%27%7D%2CH%2CW%5D%28C%5E%7B%27%7D%3CC%29
  3. 协方差矩阵(Cov)%7BC%5E%7B%27%7D%5Ctimes%7BC%5E%7B%27%7D%7D%7D,计算各通道间的相关性
  4. 接下来,对协方差矩阵执行逐行归一化。归一化协方差矩阵中的每个%7B%28i%2Cj%29%7D表示信道i与信道j相关联
  5. excitation模块
    1.行卷积(RC)以保持结构信息并输出向量
    2. 利用全连接层(W)和sigmoid函数(σ)得到C维注意力向量(通道权重)
  6. 将得到的结果与原始特征图相乘,给每个通道赋予不同的权重

通过使用全局二阶池化(GSoP),GSoPBlock提高了通过SEBlock收集全局信息的能力。然而,这是以额外计算为代价的。因此,通常在几个剩余块之后添加单个GSoPBlock。

2.2.3 SRM

image-20220228094420543

创新点:改进了squeeze模块和excitation模块。提出了style-based recalibration module (SRM)。它利用输入特征的均值(mean)和标准差(std)来提高捕获全局信息的能力。它还采用了一个轻量级的通道全连接层(CFC)代替原有的全连接层(FC),以减少计算需求。

动机:以风格迁移的成功为动机,即提升精度的同时,减少计算量,提出了新的squeeze模块和轻量级全连接层。

image-20220228092406080

  1. squeeze模块:使用style pooling(SP),它结合了全局平均池化和全局标准差池化。(为什么输出为%7BC%5Ctimes%7Bd%7D%7D:当只用全局平均池化就是%7BC%5Ctimes%7B1%7D%7D;当用了全局平均池化和全局标准差池化就是%7BC%5Ctimes%7B2%7D%7D;当用了全局平均池化和全局标准差池化和全局最大池化就是%7BC%5Ctimes%7B3%7D%7D
  2. excitation模块:
  3. 与通道等宽的全连接层CFC(Channel-wise fully-connected layer),含义:通道维度由%7B%5BC%2Cd%5D%7D变为%7B%5BC%2C1%5D%7D,即对于每一个通道,都有一个全连接层输入为d,输出为1(原文:This operation can be viewed as a channel-independent, fully connected layer with d input nodes and a single output)
  4. 利用BN层和sigmoid函数(σ)得到C维注意力向量
  5. 将得到的结果与原始特征图相乘,给每个通道赋予不同的权重

2.2.4 GCT

image-20220228101545695

动机:由于excitation模块中全连接层的计算需求和参数数量,在每个卷积层之后使用SE块是不切实际的。提出了gated channel transformation (GCT)。减少计算量,在backbone中可以加入更多层注意力机制。

image-20220228103051961

  1. l2-normalization(Norm),对输入特征图Norm,通道数从%7BC%2CH%2CW%7D->%5BC%2C1%2C1%5D,乘以可训练权重%5Calpha,输出结果作为第二部分的输入用s_%7Bin%7D表示
  2. channel normalization(CN),对应图中中间部分,具体操作为

%7Bs_%7Bout%7D%3D%5Ccfrac%7B%7B%5Csqrt%7BC%7D%7D%7D%7BNorm%28s_%7Bin%7D%29%7D%7Ds_%7Bin%7D%3B%20s_%7Bin%7D%2Cs_%7Bout%7D%3D%5BC%2C1%2C1%5D

  1. 乘以可训练权重%5Cgamma和偏差%5Cbeta,输出结果用s%5E%7B%27%7D表示
  2. s%3D1%2Btanh%28s%5E%7B%27%7D%29

GCT block的参数比SE block少,而且由于它很轻量,可以添加到CNN的每个卷积层之后。

2.2.5 ECANet

image-20220228105519461

创新点:论文动机出发点说了一大堆,具体表现就是,用一维卷积替换了SENet中的全连接层

image-20220228105743209

  1. 全局平均池化(GAP)
  2. 一维卷积(Conv1D)后接激活函数Sigmoid(σ)
  3. 将得到的结果与原始特征图相乘,给每个通道赋予不同的权重

注:文中对卷积核大小有自适应算法,即根据通道的长度,调整卷积核k的大小。原论文给出超参数%7B%5Cgamma%3D2%7D%7Bb%3D1%7D%7B%7C%7C_%7Bodd%7D%7D表示k只能取奇整数

image-20220228105757823

2.2.6 FcaNet

image-20220228113138822

动机:在squeeze模块中仅使用全局平均池化(GAP)限制了表达能力。为了获得更强大的表示能力,他们重新思考了从压缩角度捕获的全局信息,并分析了频域中的GAP。他们证明了全局平均池是离散余弦变换(DCT)的一个特例,并利用这一观察结果提出了一种新的多光谱注意通道(multi-spectral channel attention)。

image-20220228142419574

  1. 将输入特征图%7Bx%5Cin%7BR%5E%7BC%5Ctimes%7BH%7D%5Ctimes%7BW%7D%7D%7D%7D分解(Group)为许多部分%7Bx%5E%7Bi%7D%5Cin%7BR%5E%7BC%5E%7Bi%7D%5Ctimes%7BH%7D%5Ctimes%7BW%7D%7D%7D%7D,每一段长度相等
  2. 对每一段%7Bx%5Ei%7D应用2D 离散余弦变换(DCT, discrete cosine transform)。2D DCT可以使用预处理结果来减少计算
  3. 处理完每个部分后,将所有结果拼接成一个向量
  4. 后接全连接层(W_1)->ReLU层(δ)->全连接层(W_2)->Sigmoid(σ)
  5. 将得到的结果与原始特征图相乘,给每个通道赋予不同的权重

注:2D DCT 看不懂。。。。。。

2.2.7 EncNet

image-20220228111112266

动机:受SENet的启发,提出了上下文编码模块(CEM, context encoding module),该模块结合了语义编码损失(SE-loss, semantic encoding loss),以建模场景上下文和对象类别概率之间的关系,从而利用全局场景上下文信息进行语义分割。

image-20220228112039757

给定一个输入特征映射,CEM首先在训练阶段学习K个聚类中心D,%7BD%3D%5C%7Bd_1%2C...%2Cd_K%5C%7D%7D和一组平滑因子S,%7BS%3D%5C%7Bs_1%2C...%2Cs_K%5C%7D%7D。接下来,它使用软分配权重对输入中的局部描述子和相应的聚类中心之间的差异进行求和,以获得置换不变描述子。然后,为了提高计算效率,它将聚合应用于K个簇中心的描述符,而不是级联。形式上,CEM可以写成如上公式。

2.2.8 通道注意力机制模型总结

image-20220228113403545

3. 论文链接

论文缩写 论文名称 | 链接 权重范围 论文投稿
SE Block Squeeze-and-Excitation Networks (0,1) CVPR2018
GSoP Block Global Second-order Pooling Convolutional Networks (0,1) CVPR2019
SRM Block SRM : A Style-based Recalibration Module for Convolutional Neural Networks (0,1) ICCV2019
GCT Block Gated Channel Transformation for Visual Recognition (0,1) CVPR2020
ECA Block ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks (0,1) CVPR2020
Fca Block FcaNet: Frequency Channel Attention Networks (0,1) ICCV2021
Enc Block Context Encoding for Semantic Segmentation (-1,1) CVPR2018

版权声明:本文为博主Matorch原创文章,版权归属原作者,如果侵权,请联系我们删除!

原文链接:https://blog.csdn.net/weixin_43913124/article/details/123183337

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
青葱年少的头像青葱年少普通用户
上一篇 2022年3月1日 下午4:53
下一篇 2022年3月1日

相关推荐