介绍
摘要
先前的大量研究表明，注意力机制在提高深度卷积神经网络（CNN）的性能方面具有巨大潜力。然而，大多数现有方法要么忽略通道和空间维度的建模注意力，要么引入更高的模型复杂性和更重的计算负担。为了缓解这种困境，在本文中，我们提出了一种轻量级且高效的多维协作注意力（MCA），这是一种通过使用三分支架构同时推断通道、高度和宽度维度注意力的新方法，几乎没有额外的开销。对于MCA的基本组成部分，我们不仅开发了一种自适应组合机制，用于合并挤压变换中的双跨维度特征响应，增强特征描述符的信息性和可辨别性，而且还设计了激励变换中的门控机制，自适应地确定特征描述符的覆盖范围。交互来捕获局部特征交互，克服性能和计算开销权衡的悖论。我们的 MCA 简单而通用，可以作为即插即用模块轻松插入各种经典 CNN，并以端到端的方式与普通网络一起进行训练。 CIFAR 和 ImageNet-1K 数据集上图像识别的广泛实验结果证明了我们的方法相对于其他最先进 (SOTA) 方法的优越性。此外，我们还通过目视检查 GradCAM++ 可视化结果来深入了解 MCA 的实际优势。该代码可从 https://github.com/ndsclark/MCANet 获取。
创新点
- 通过三个平行分支同时建模通道、高度和宽度维度的注意力，实现多维度的协同注意力。
- 引入挤压变换和激励变换组件，通过自适应的方式聚合特征和捕获局部特征交互
版权声明：本文为博主作者：程序员半夏原创文章，版权归属原作者，如果侵权，请联系我们删除！
原文链接：https://blog.csdn.net/shangyanaf/article/details/136205065
