简单地缩小RoPE的旋转角度基数
对RoPE的不同频率分量采用不同的插值策略(高频外推、低频插值)
完全替换RoPE为ALiBi编码
在训练时动态调整序列长度
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题