小米内推码AK3HSHU

1. 自我介绍2. 说说你简历上这俩项目3. 多头注意力真正发挥作用的关键，不是“头变多了”而是什么多头注意力的核心不是把一个注意力拆成几份，而是把表示空间分成多个子空间，让不同 head 在不同投影下学习不同相关性模式。有的 head 偏局部词法关系，有的偏远距离依赖，有的偏结构性边界，有的偏位置模式。如果只是单头，模型只能在一个统一度量空间里做相关性匹配，表达会更受限。真正让多头有效的，不是“并行”两个字，而是不同头通过不同参数矩阵形成了多视角关系建模。头数继续增大并不一定更好，因为维度被切得过细后，每个头的表达能力又会下降，所以它本质上是容量分配问题，不是机械堆头数的问题。4. 为什么推...

要简历的不少，但没面😥同学都在实习，好焦虑😢

秋招0offer，估计简历有问题   

项目深挖更细，还聊了一道 CUDA 脑暴题这场蚂蚁二面的感觉和一面不太一样。一面更像是先确认你做过什么、懂到什么程度，二面则明显更深，基本是顺着项目细节一路往下追，尤其会反复确认你到底是不是亲手做过优化、怎么判断优化价值、怎么分析性能边界，以及你对更上层系统有没有兴趣。开场还是先让我用一个比较高层的方式讲实习经历、项目经历和职业规划，我这边还是重点放在了算子优化、图优化、量化推理 runtime 这些内容上。项目部分一开始还是围绕我现在做的方向展开。我先讲了三个相对核心的点：一个是单算子优化，一个是稳定性问题修复，一个是算子融合。单算子优化这块，我举的是把旧的手写实现替换成高性能库实现，再做单...