RMSNorm
RoPE
对q,k进行PE
公式推导：
先给q(位置m），k（位置n)添加绝对位置信息： f(q, m), f(k, n)
相对位置信息：g(q, k, m-n)
即要构造出<f(q, m), f(k, n)> = g(q, k, m-n)
根据实部虚部推导就行，结果是， 即对q转
，即：
FFN
xb = RMSNorm(x, weight)
hb = xb @ w1, hb2 = xb @ w3
SwiGLU: hb * * hb2
xb = hb @ w2
残差处理： x += xb
版权声明：本文为博主作者：volcano_66原创文章，版权归属原作者，如果侵权，请联系我们删除！
原文链接：https://blog.csdn.net/volcano_66/article/details/136100978
