1. Transformer 的自注意力机制、位置编码、梯度消失和梯度爆炸的解决方案答：自注意力机制的核心是让每个 token 在计算表示时都能和序列中其他 token 交互。给定输入 (X)，先通过线性变换得到 (Q)、(K)、(V)：然后计算注意力：这里除以 根号下dk 是为了防止点积过大导致 softmax 进入饱和区，影响梯度。多头注意力就是把表示拆成多个子空间并行计算，最后再拼接，能从不同角度学习依赖关系。位置编码是因为 Attention 本身不包含顺序信息，所以需要显式加入位置信息。经典做法是正余弦位置编码：现在也常用相对位置编码和 RoPE。梯度消失和梯度爆炸的解决方案包括：残...

🚂引言：Superpowers 是什么？仓库地址：https://github.com/obra/superpowers星标：73K🌟Superpowers 是一个面向 AI 编程智能体（Agentic Coding Assistants）的开源技能框架与软件开发方法论。它并非要取代开发者，而是旨在通过为 AI 注入一套标准化的、经过验证的最佳实践（称为“技能”），将其从一个“会写代码但缺乏工程素养的实习生”，转变为一个“遵循严谨流程的资深工程师”。该项目由 Jesse Vincent (GitHub 用户 obra) 发起，其核心理念是：通过外部指令和可组合的技能，强制 AI 遵循成熟的...