首页 > 试题广场 >

位置编码这条线你怎么选：绝对 PE、相对 PE、RoPE 各

[问答题]
位置编码这条线你怎么选：绝对 PE、相对 PE、RoPE 各自的思路、优势和局限，结合你的项目谈取舍。
添加回答
Jerryyyytse头像 Jerryyyytse
positional encoding absolute postional encoding: 为序列中的每个绝对位置（如第1个词、第2个词）分配一个固定的或可学习的向量表示，然后直接与词向量相加 relative positional encoding: 不关注词的绝对位置，而是关注词与词之间的相对距离（如偏移量△ = i-j）。将这种相对位置信息编码成一个偏置项，添加到注意力评分中 retational positional encoding: 通过一个旋转矩阵对查询（Q）和键（K）向量进行变换，使得它们的点积结果天然包含了相对位置信息。即，通过“旋转”向量来编码位置
发表于 2026-04-16 10:39:38 回复(0)
Raymond_030927头像 Raymond_030927
绝对：直接编码，结构简单，上下文太长的时候会崩 相对：注入相对距离，天然有结构感知，但是比较慢 旋转：点积前旋转QK，V不参与旋转，依赖p-q相对距离与夹角，也具有训练长度问题 我在做StruGene项目的时候就是用的相对PE，让transformer自己去感受文本结构
发表于 2026-03-14 05:51:38 回复(0)
提交观点

问题信息

来自：大模型应用-牛客面经八股
难度：
2条回答 357浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号