Multi-head Self-attention（多头注意力机制）

Self-attention 有一个进阶的版本,叫做 Multi-head Self-attention, Multi-head Self-attention,其实今天的使用是非常地广泛的。

在LHY2021作业 4 裡面,助教原来的 code 4 有,Multi-head Self-attention,它的 head 的数目是设成 2,那刚才助教有给你提示说,把 head 的数目改少一点改成 1,其实就可以过medium baseline
但并不代表所有的任务,都适合用比较少的 head,有一些任务,比如说翻译,比如说语音辨识,其实用比较多的 head,你反而可以得到比较好的结果至於需要用多少的 head,这个又是另外一个hyperparameter,也是你需要调的那為什麼我们会需要比较多的 head 呢,你可以想成说相关这件事情我们在做这个 Self-attention 的时候,我们就是用 q 去找相关的 k,但是相关这件事情有很多种不同的形式,有很多种不同的定义,所以也许我们不能只有一个 q,我们应该要有多个 q,不同的 q 负责不同种类的相关性

所以假设你要做 Multi-head Self-attention 的话,你会怎麼操作呢?

Multi-head Self-attention（多头注意力机制）

1.先把 a 乘上一个矩阵得到 q
2.再把 q 乘上另外两个矩阵,分别得到 $q^{1}$ 跟 $q^{2}$ ,那这边还有这边是用两个上标,i 代表的是位置,然后这个 1 跟 2 代表是,这个位置的第几个 q,所以这边有 $q^{i,2}$ 跟 $q^{i,2}$ ,代表说我们有两个 head

我们认為这个问题,裡面有两种不同的相关性,是我们需要產生两种不同的 head,来找两种不同的相关性。既然 q 有两个,那 k 也就要有两个,那 v 也就要有两个,从 q 得到 $q^{1}$ 和 $q^{2}$ ,从 k 得到 $k^{1}$ 和 $k^{2}$

只是现在 $q^{1}$ ,它在算这个 attention 的分数的时候,它就不要管那个 $k^{2}$ 了

Multi-head Self-attention（多头注意力机制）

所以 $q^{i,1}$ 就跟 $k^{i,1}$ 算 attention
$q^{i,1}$ 就跟算 $k^{i,1}$ attention,也就是算这个 dot product,然后得到这个 attention 的分数
然后今天在做 weighted sum 的时候,也不要管 $v^{2}$ 了,看 $V^{i,1}$ 就好,所以你把 attention 的分
数乘 $V^{i,1}$ ,把 attention 的分数乘 $V^{i,1}$ ,然后接下来就得到 $b^{i,1}$