面试里如果被问到“为什么Attention要做成多头，而不是单头就够了”，很多人会先回答一句：“因为多个头可以关注不同子空间的信息。”这个方向并没有错，因为我最一开始学算法的时候，也思考过这个问题，但那会儿搜到的也就是这些原理罢了，但问题在于，这个说法太抽象了。面试官如果继续追问一句“什么叫不同子空间？到底不同在哪”，很多人就接不下去了，反正我到毕业写完论文了都没想过这个点。要把这道题答好，其实需要先回答一个更本质的问题：如果只有一个头，究竟会出什么问题？把这个问题讲透，多头注意力的问题也就解答了。（我的回答建议在文末）一、先别急着讲多头，先看单头的瓶颈到底是什么先从单头注意力开始。假设输入序...

3.10初试3.12复试3.14状态从面试中变成复试，一直到现在3.19了，也没有信，这是要三面吗？还是对比完HR面或着挂掉？

一、同步与异步同步：用来保证调用方和被调用方顺序执行。调用方需要等待被调用方执行完成之后，自身才能继续执行，调用方的逻辑控制流被阻塞。同步不一定要阻塞，只是逻辑控制流被阻塞。阻塞只是同步最常用的手段。异步：调用方和被调用方各自执行。调用方发出请求之后，无需等待被调用方执行完毕就可以继续执行，被调用方的执行结果通过回调、信号等方式返回给调用方。核心区别：调用方的逻辑控制流是否阻塞等待被调用方执行结束。二、同步：有锁、无锁、无等待锁的概念：核心目的是解决并发（多个操作同时进行）时，争抢共享资源（如数据、文件等）导致的混乱问题。上锁（加锁）：申请独占使用权。如果资源空闲，就可获得锁并开始操作。解锁（...