面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

深圳某不知名公司  

当听到我的+1跟我说这话时候，我瞳孔震裂了，兄弟们！现在的领导都这么开放吗，我一大老爷们……怎么拒绝比较好啊！

当工作"绑架"了阅读每天对着电脑8小时，眼睛又干又涩，看东西都模糊。下班后想看点东西，但眼睛已经累到不行。想看的文章很多，但眼睛不允许。工作占用了时间，也消耗了眼睛。阅读成了奢侈品。直到我发现了这个TTS扩展，才找到了平衡点。眼睛的"抗议"去年体检，医生说我的眼睛干涩严重，建议减少屏幕时间。但工作需要，屏幕时间无法减少。阅读时间被压缩，想看的文章越积越多。我开始思考：能不能在不增加屏幕时间的情况下，继续阅读？一个改变：从"看"到"听"第一次用这个扩展是在一个周末。眼睛很累，但还有几篇技术文章没看。我试了试，选中文字...