多尺度可形变注意力机制MultiScaleDeformableAttn

该机制来源于Deformable DETR中的技术;

https://zhuanlan.zhihu.com/p/495941788

https://zhuanlan.zhihu.com/p/520666550

https://blog.csdn.net/weixin_43702653/article/details/126153583

这个模块是将 Transformer 的全局注意力变为局部注意力的一个非常关键的组件,用于减少训练时间,提高 Transformer 的收敛速度;

应用于BEVFormer,其中两个重要模块Temporal Self-AttentionSpatial Cross-Attention

可参考:https://zhuanlan.zhihu.com/p/543335939

目前已集成到MMCV MMDET3d中。

https://blog.csdn.net/wulele2/article/details/123745276

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
心中带点小风骚的头像心中带点小风骚普通用户
上一篇 2023年8月9日
下一篇 2023年8月9日

相关推荐