同花顺内推[TJ6534]

1. Transformer 的自注意力机制、位置编码、梯度消失和梯度爆炸的解决方案答：自注意力机制的核心是让每个 token 在计算表示时都能和序列中其他 token 交互。给定输入 (X)，先通过线性变换得到 (Q)、(K)、(V)：然后计算注意力：这里除以 根号下dk 是为了防止点积过大导致 softmax 进入饱和区，影响梯度。多头注意力就是把表示拆成多个子空间并行计算，最后再拼接，能从不同角度学习依赖关系。位置编码是因为 Attention 本身不包含顺序信息，所以需要显式加入位置信息。经典做法是正余弦位置编码：现在也常用相对位置编码和 RoPE。梯度消失和梯度爆炸的解决方案包括：残...

😢 飞书电话会议。我真的搞不懂，那些问题我基本上都回答出来了，咋回事呢。

本人bg：25届算法，在MiniMax工作快一年了。从实习转正，到现在参与M2.5等核心模型的迭代，感受还是非常多的。刚好最近很多学弟学妹来问求职和公司的情况，干脆把我的真实经历和观察整理出来，希望能给正在看机会的大家一些参考。一、关于求职：实习是成本最低的试错我一开始不知道自己想去哪，所以我会通过实习来给自己试错。研究生阶段，我攒了4段实习（1家中厂，3家大厂），不过现在看来，这些经历最大的价值不是让简历变好看，而是让我对所谓的大厂“祛魅”了。 有的团队进去才发现，核心业务根本碰不到，天天写周报、对齐、拉通，忙活半天不知道自己在干嘛。所以我觉得，多实习不是为了刷简历，而是用低成本试错，给自己...