面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

鼠鼠除了字节全投了，牛课上的全被拒了，美团百度腾讯这些一直简历筛选，快手直接简历挂是只能年后投了吗

来到智元快一个月了，更新一下实习体验 1.地理位置：智元上海总部在康桥，离上海迪士尼很近，但是属于郊区，到外滩坐地铁要一个小时 2.周围物价：公司楼下的商务区饭菜是上海水准，平均一餐25左右，牛肉面28。但是！距离500m左右的秀沿路上有大大小小几十家餐馆，木桶饭，张亮麻辣烫，灌汤包，麦当劳，塔斯丁，鸡公煲，烧烤店，好吃的不要太多！而且物价很便宜，和重庆类似，平均一餐15—20，团购的至尊烤鸡才19元，赚麻了 3.租房：（更新）康桥区的租房真的有点乱，我被骗了2000，当时是贝壳上找到的房源，到了现场说他是房东，拿出了他自己搞的虚假合同，里面有2000的一年的物业费，可以退，我微信转账给了他。...