Batchnorm 和Layernorm 区别

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

目录

一、Batchnorm

BatchNorm,一般用于CV任务,是把一个batch(N张图片)中同一通道的特征,将其标准化。可以理解为对Batch中的所有图的每一层像素进行标准化。

二、Layernorm

LayerNorm,一般用于NLP任务中,是把batch中的一个样本(一个句子)在当前层的所有特征,将其标准化。可以理解为对一个句子的整体进行标准化。

三、总结

由于二者的所应用的任务不同其特征维度也存在差异,图像对比会产生误解,在此用文字描述更利于理解。

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
心中带点小风骚的头像心中带点小风骚普通用户
上一篇 2023年9月17日
下一篇 2023年9月17日

相关推荐