面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

记得那年大三的时候，我们都在玩，室友突然说要去一线城市实习，我们都笑他不好好把握没课的大学时光……结果第二年开春室友回来之后就变了一个人，游戏也不打了，整天就是抱着电脑刷题，做项目，闲下来的时候就给我们讲实习遇到的同事，还有好mt，他说现在很清楚知道自己想要什么，不考研不考公，想去大厂工作……最后我们都在考研的时候，他已经拿到了大疆的offer，有一次碰到他刚好一起进图书馆，我问他年薪多少，他不好意思的笑了笑，40w+，然后我两就分开了，他去了机房，我去了自习室……

bg:9本大二/主go/一段实验室打工经历 二面感觉问得深很多，面试官笑呵呵的很有压力 1. 项目深挖（短链接生成系统 - 架构设计与一致性）  面试官： 请简单介绍一下这个短链接生成系统的核心流程。 面试官： 你为什么引入 Redis？如果去掉 Redis 直接抗 5000 QPS，PostgreSQL 的瓶颈大概会出在哪里？ 面试官： 短链接生成的算法你用的哪种？如果是 Hash 算法，产生碰撞（Conflict）了你如何在代码层面解决？ 面试官： 谈谈你提到的一致性方案：先更新数据库，再删除缓存。 面试官： 如果数据库更新成功，但删除缓存失败了，此时会有脏数据。除了重试机制，你了解“延迟...