面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

大一大二跟着学校老师做项目打比赛，没想着找日常实习，加上还有其他杂务耽搁。十一月初投了字节训练营但笔试被刷了，一直到十一月底才开始投简历。在boss上投了半个月，投出去七八份，其中有一份内推进快手的客户端，最后也没有音讯。前几天拿到一家小公司的安卓实习面试，结果面试前几分钟告诉我岗位招满了（不过boss上那个HR通知我的时候确实也显示停止招聘了）。八股和算法方面刷了一个多月了，目前主要有以下想法：1. 继续完善IM项目的客户端部分，比如移植到手机移动端上，然后明年争取找大厂客户端实习（有经验的学长推荐多投字节腾讯cpp）。2. 继续完善IM项目的服务端部分，找c++后端实习。但c++软件在制造业比较多，互联网相关的实习少。考虑音视频的话，可能得报班快速做出东西。3. 这学期结束我会做一个大数据相关的课设，在考虑投专业相关的数据开发、数仓这些岗位。4. 还有一个兜底方案：今年暑假的比赛，让我有了在国家电网实习的机会，但还是得准备面试，而且转正要考编。希望大家给点建议，欢迎交流讨论。

真没招了

题目1：负采样算法设计题目2：队列重建题目3：整数分解