首页 > 试题广场 >

RoPE(Rotary Position Embedding

[单选题]
RoPE(Rotary Position Embedding)位置编码的核心思想是什么？ 
  • 将绝对位置信息加到输入embedding上
  • 通过旋转矩阵将位置信息编码到query和key中，使内积自然反映相对位置
  • 在注意力分数上加一个与位置差相关的偏置项
  • 使用可学习的位置embedding矩阵
查看答案及解析
添加回答

这道题你会答吗？花几分钟告诉大家答案吧！

提交观点

问题信息

大模型概念
难度：
0条回答 1浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号