举例理解transformer中的位置编码

1. transformer结构图

举例理解transformer中的位置编码

​ 在transformer的结构图中,由一个“Positional Encoding”,即位置编码,查看了以下资料后,稍微有点儿理解了,记录于此。

2. 位置编码的作用

​ 由于transformer是并行化运算,所以输入的信息中没有位置信,而在语音文本中,绝大部分都是有语序的。例如:我爱你,要是翻译成’“You love me”,那意思就完全不一样了。于是,就有了位置编码,其作用就是让输入数据携带位置信息,是模型能够找出位置特点。

3. 位置编码的计算

​ 在transformer中的位置编码中,其编码公式如下:
举例理解transformer中的位置编码
其中,举例理解transformer中的位置编码

。上面,表示偶数位置使用sin, 奇数位置使用cos。引入实例,如: 翻译”我爱你”。

Step1: embedding编码

​ 假设embedding编码将每个词向量编程成512维,如图所示:

举例理解transformer中的位置编码

Step2: 位置编码

​ 由上图知,其举例理解transformer中的位置编码 ,其编码示意图如下:
举例理解transformer中的位置编码

一步步计算可得,其具体的位置编码:
举例理解transformer中的位置编码
Step3: 位置编码与embedding编码进行相加

​ 如图,
举例理解transformer中的位置编码

然后即可将其作为transtormer的输入进去Attention以及其他运算。

注:

文章有参考:https://wangguisen.blog.csdn.net/article/details/125074022?spm=1001.2014.3001.5502
该文写得非常赞,值得一看。

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
青葱年少的头像青葱年少普通用户
上一篇 2022年6月8日 上午11:26
下一篇 2022年6月8日

相关推荐