绝对：直接编码，结构简单，上下文太长的时候会崩 相对：注入相对距离，天然有结构感知，但是比较慢 旋转：点积前旋转QK，V不参与旋转，依赖p-q相对距离与夹角，也具有训练长度问题 我在做StruGene项目的时候就是用的相对PE，让transformer自己去感受文本结构
发表于 2026-03-14 05:51:38
回复(0)
问题信息
-
扫描二维码，关注牛客网
- 意见反馈
-
下载牛客APP，随时随地刷题
扫一扫，把题目装进口袋
- 求职之前，先上牛客
-
扫描二维码，进入QQ群
扫描二维码，关注牛客公众号
- 公司地址：北京市朝阳区北苑路北美国际商务中心K1座一层-北京牛客科技有限公司
- 联系方式：010-60728802 投诉举报电话：010-57596212（朝阳人力社保局）
- 牛客科技© All rights reserved admin@nowcoder.com
- 京ICP备14055008号-4 增值电信业务经营许可证 营业执照 人力资源服务许可证
-
京公网安备
11010502036488号
