面试里如果被问到“为什么Attention要做成多头，而不是单头就够了”，很多人会先回答一句：“因为多个头可以关注不同子空间的信息。”这个方向并没有错，因为我最一开始学算法的时候，也思考过这个问题，但那会儿搜到的也就是这些原理罢了，但问题在于，这个说法太抽象了。面试官如果继续追问一句“什么叫不同子空间？到底不同在哪”，很多人就接不下去了，反正我到毕业写完论文了都没想过这个点。要把这道题答好，其实需要先回答一个更本质的问题：如果只有一个头，究竟会出什么问题？把这个问题讲透，多头注意力的问题也就解答了。（我的回答建议在文末）一、先别急着讲多头，先看单头的瓶颈到底是什么先从单头注意力开始。假设输入序...

继上次三方毁约后，又拿到了腾讯社招offer

前言在开始分享具体的面试题之前，我想先给这份面经定个调，我更愿意称之为“方向”。它不是什么万能宝典，而是专门写给这样一群人（基础可以，算法不行）的：学历背景扎实： 公立一本毕业，双证齐全（学信网可查，硬门槛）身份纯粹： 校招赛道，应届生身份基础过关： 已经熟悉一门编程语言（无论Java、C++、Python还是Go，或者其它，只要不是邪门语言），具备最基本的开发素养计算机素养： 具备基本的计算机功底——哪怕你不是科班出身。比如我自己就是数学专业，像数据结构、操作系统、网络这些核心素养，都是靠自学补上的；如果你是科班出身，那这一条本该就是你的本能 写这份面经之前，得先提一个人——栗栗姐（...