面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

博主本身是天坑专业出身，从零基础起步，用了 6 个月完成嵌入式转行，同时走了 MCU + Linux 两个方向，最终两边都拿到了 四五十万级别的 offer。因此我一直认为：两个方向一起走，是性价比非常高的选择。这两个方向涉及的知识面都非常广，问题就变成了：如何在有限时间内完成速通？一、大方向概览，小点深挖（核心方法论）1️⃣ 大方向概览：先建立全局认知所谓大方向概览，指的是对 MCU 和 Linux 相关知识体系进行一次快速、系统性的了解。这里非常不建议一开始就看系统课程，效率偏低。更推荐直接看 总结好的知识点 / 官方文档。这一阶段的目标只有一个：对整个技术体系有清晰的整体认知，而不是立刻...