Q3:请你详细介绍ROPE,对比绝对位置编码它的优劣势分别是什么? 难度:⭐⭐⭐ 岗位:算法岗重点 公司:字节(真题) 核心考点:  ROPE(Rotary Position Embedding)原理 为什么适合长文本 与绝对位置编码的对比  标准答案:   ROPE 核心思想  通过旋转矩阵在复数域对 Q 和 K 进行位置编码 关键特性:相对位置依赖,即只有两个位置的相对距离影响注意力分数    数学原理(算法岗必须掌握)   q_m = (W_q · x_m) · e^(imθ) k_n = (W_k · x_n) · e^(inθ) attention_score = q_m · k_n...

Q:请详细解释一下 Transformer 模型中的自注意力机制是如何工作的?它为什么比 RNN 更适合处理长序列? 难度:⭐⭐ 公司:字节、阿里、腾讯(高频) 算法岗回答要点:   自注意力机制原理  输入序列通过三个线性变换得到 Q(Query)、K(Key)、V(Value) 计算注意力分数:scores = QK^T / √d_k Softmax 归一化得到注意力权重 加权求和:output = softmax(scores) · V    数学推导 Attention(Q,K,V) = softmax(QK^T/√d_k)V   为什么除以√d_k?防止点积过大导致梯度消失 Mult...