面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

最近在投递简历。在BOSS上，投了50来份小厂(1000人以下)。只有几个人回复(我知道这很正常)，目前有一个小厂hr的电话，说他们的要求很高，我代码有点少。感觉小厂的要求都好高，什么QT，游戏项目/引擎，嵌入式，音视频，图片处理，机器学习，数据挖掘/分析等等，我是不是要改变策略，投中大厂(可能他们的要求比较低，比较看重学习能力)？现在想，先投一个月(边复习+MySQL+QT)，不行就考研去了。