正弦位置编码是专为相对位置设计
多头注意力将 Q/K/V 投影到多子空间学习不同依赖
FFN 为序列每个位置学习独立一套权重
RMSNorm 省略减均值,仅按均方根归一并线性缩放
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题