大佬都把迪子鸽了吗？

面试里如果被问到“为什么Attention要做成多头，而不是单头就够了”，很多人会先回答一句：“因为多个头可以关注不同子空间的信息。”这个方向并没有错，因为我最一开始学算法的时候，也思考过这个问题，但那会儿搜到的也就是这些原理罢了，但问题在于，这个说法太抽象了。面试官如果继续追问一句“什么叫不同子空间？到底不同在哪”，很多人就接不下去了，反正我到毕业写完论文了都没想过这个点。要把这道题答好，其实需要先回答一个更本质的问题：如果只有一个头，究竟会出什么问题？把这个问题讲透，多头注意力的问题也就解答了。（我的回答建议在文末）一、先别急着讲多头，先看单头的瓶颈到底是什么先从单头注意力开始。假设输入序...

什么年代了，还有地主

不过大厂的面试确实比小厂能学到更多

刷到这个话题，瞬间想起了我秋招找实习的社死经历，作为计算机专业的男生，我用亲身经历告诉大家：实习产出可以合理包装，但千万别过度造假，不然面试的时候真的会尴尬到想找个地缝钻进去。先说说我最开始的实习情况，特别普通，就是大多数开发实习生的日常：在一家小公司的后端组实习，mentor怕我碰坏线上环境，根本不让我碰核心业务代码。日常工作就是整理项目的接口文档、给老接口写点单元测试、改几个前端传参的小bug、偶尔旁听一下项目评审会，连正经的业务接口都没写过几个。实习了两个月，实打实的产出少得可怜，说难听点，就是个打杂的。那时候正赶上暑期实习招聘，看着身边同学的简历，个个都是“核心参与项目”“独立负责模块...