面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

我永远忠于鹅厂

不管别的，先认错，我知道不管怎么回事，我肯定是错了，认错总没错。 2025，华为离职、低谷三个月、上岸大厂、儿子出生，这一步一步走过了，都是命好，我一点没努力，其实我可以做的更好，都是我的错。一、离开华为，是我不够努力 是我错了，试用期干了七项工作，我自不量力，干这么多。 是我错了，七项工作，里面有几样没干好，是我不努力，是我不认真，你们说的对，为什么别人能会我不会，都是我的错。 是我错了，我安全检查的工作，干了80%，坑趟完了，工作别人抢走，转正编名额被抢走，是我的错，我不会舔领导，不会来事，我没做到不被人抢走的地步，是我的错，我忏悔。 是我错了，我应该继续努力，完全认同华为文化，刻苦奋斗，...