transformer模型是在NLP领域发表的论文attention is all you need中提出的一种语言处理模型,其transformer模型由于加速了模型推理时间与训练精度,越来越受到了广大机器学习爱好者的追求。特别是transformer模型应用到CV计算机视觉领域后,transformer模型更是得到了广大的应用。
更多Transformer模型VIT 模型SWIN Transformer模型参考头条号:人工智能研究所
最近大火的AI绘图stable diffusion也是应用到了transformer模型。虽然transformer模型是Google发布的论文,且最初的实现代码是基于TensorFlow实现的,但是pytorch的流行,让很多机器学习爱好者使用pytorch来实现transformer模型。
从transformer模型的架构图可以看出,其模型存在6层的编码器与6层的解码器组成,每层的编码器包含multi-head attention多头注意力机制与feed-forward前馈神经网络,且经过每次block功能外,还添加一层的add&norm的残差连接与归一化操作。
文章出处登录后可见!
已经登录?立即刷新