22考研二战失败求收留～

面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

进来实习快一个月了，感觉是一条被放养到流浪狗，同组的同事也没什么活给我，刚开始还有些杂活到我手上，现在真的每天都没事做，每天来了一天说话不超过五句，好边缘好无聊好孤独，开会也不要我去……不知道是这个公司培养方式就是这样，还是他们觉得我能力太差不想叫我，总之就是融入不进去，参与感为0，每天闲的尴尬，也学不到什么前段时间我直接内耗哭了，我都不知道每天上下班为了什么