首页 > 试题广场 >

ALiBi(Attention with Linear Bi

[单选题]
ALiBi(Attention with Linear Biases)在推理时外推到训练长度之外的能力优于传统正弦位置编码,其原因是什么?
  • ALiBi使用可学习参数,能自适应调整
  • ALiBi直接对注意力分数施加线性衰减偏置,无需在embedding层注入位置信息
  • ALiBi使用更高频率的正弦函数
  • ALiBi在训练时随机丢弃部分位置编码

这道题你会答吗?花几分钟告诉大家答案吧!