面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

0offer求指导，感觉好迷茫

一、当我坐在面试官这一边最近公司要招两个Java高级开发，我负责技术一面。简历很多，候选人更多，每天面试排的很满。有不少技术背景很强的人，让我印象比较深刻的有三位。第一位候选人，简历写得非常漂亮：某公司技术总监，带过50多人的团队，公司濒临倒闭，不得不出来找工作。我问他Spring Cloud中Nacos的配置中心是如何实现动态配置推送的，他想了很久，说：“就是...监听配置变化...然后推送...具体实现细节我记得不是很清楚了...”第二位之前是公司架构师，因为裁员出来的。简历上写着“负责千万级用户系统架构设计”、“深度优化分布式系统性能”。我问他OpenFeign的超时重试机制，以及如何避...