许愿小米

投了一个月简历，好不容易有个面试，结果上来一个简单问题突然死活想不起来了，复杂的方法想了两个就是简单的方法突然想不起来了，直接pass了

为什么第一段实习都找不到😂，211本，项目一个点评一个微服务商城，

感觉就是那种，背景也不够硬，实习也不够硬，啥都不够硬，除了硬着头皮在各个招聘软件和官网平台投没有任何收获，已经不知道自己能干啥了……

1. Transformer 的自注意力机制、位置编码、梯度消失和梯度爆炸的解决方案答：自注意力机制的核心是让每个 token 在计算表示时都能和序列中其他 token 交互。给定输入 (X)，先通过线性变换得到 (Q)、(K)、(V)：然后计算注意力：这里除以 根号下dk 是为了防止点积过大导致 softmax 进入饱和区，影响梯度。多头注意力就是把表示拆成多个子空间并行计算，最后再拼接，能从不同角度学习依赖关系。位置编码是因为 Attention 本身不包含顺序信息，所以需要显式加入位置信息。经典做法是正余弦位置编码：现在也常用相对位置编码和 RoPE。梯度消失和梯度爆炸的解决方案包括：残...