面试里如果被问到“为什么Attention要做成多头，而不是单头就够了”，很多人会先回答一句：“因为多个头可以关注不同子空间的信息。”这个方向并没有错，因为我最一开始学算法的时候，也思考过这个问题，但那会儿搜到的也就是这些原理罢了，但问题在于，这个说法太抽象了。面试官如果继续追问一句“什么叫不同子空间？到底不同在哪”，很多人就接不下去了，反正我到毕业写完论文了都没想过这个点。要把这道题答好，其实需要先回答一个更本质的问题：如果只有一个头，究竟会出什么问题？把这个问题讲透，多头注意力的问题也就解答了。（我的回答建议在文末）一、先别急着讲多头，先看单头的瓶颈到底是什么先从单头注意力开始。假设输入序...

求各位牛爷爷指点

前30min自我介绍+项目经历。ps:项目经历感觉没问很深的细节，也没拷打，就看我简历的技术栈来问的（看你这边写熟练mysql，那巴拉巴拉，看你熟练http，tcp，那巴拉巴拉）。agent项目细节一个没问。项目部分问题：1.你这些是实习项目吗？（我说找的然后自己做优化）2.你这个里面为什么用Lua脚本？3.redis那个服务端，怎么保证这个原子性的？4.redis的实现架构上，比如说他的线程模型，进程模型，以及他的并发角度，来解释一下他的原子性。5.redis的持久化策略？为什么两个都用？6.我看你用了一个令牌桶+滑动窗口双算法限流，这个地方能简单描述一下调研了哪些限流方案？，或者你了解哪些...