每日一发

面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

太棒了      

当听到我的+1跟我说这话时候，我瞳孔震裂了，兄弟们！现在的领导都这么开放吗，我一大老爷们……怎么拒绝比较好啊！

面试题简述为什么实时游戏的服务端大多使用UDP？TCP不可以吗？面试官想听的1、是否理解游戏的实时性要求2、理解TCP/UDP的本质区别3、是否能结合游戏场景分析4、为什么游戏宁可接受丢包也不要延迟5、能清晰说明TCP造成的延迟来源面试回答举例在游戏这种对实时性极端敏感的场景里，UDP的优势非常明显。首先，TCP会因为三次握手、丢包重传、拥塞控制、流量控制等机制导致额外的延迟，这些延迟是不可控的。详细请参考：http://xhslink.com/o/8EKzPpTBE5t由浅入深分析1、TCP的问题（1）三次握手耗时（2）丢包后阻塞后续包（3）拥塞控制导致发包速率抖动2、UDP的问题（1）不保...