1. 自我介绍2. 训练一个 decoder-only 大模型时，为什么 embedding 层和 lm head 常常共享权重权重共享本质上是一种参数高效和统计一致性的设计。输入端 embedding 学到的是“token 到向量空间”的映射，输出端 lm head 学到的是“隐藏状态到词表概率”的映射，如果这两个空间本身就在描述同一个词表语义，那么共享权重可以减少冗余参数，并让输入语义空间与输出判别空间保持一致。从优化角度看，共享权重还能起到轻微正则化作用，尤其在词表非常大时更明显。代价是模型表达自由度下降了一点，但对大多数语言模型来说这个损失远小于收益。很多实现里会保留一个独立 bias...

已拉黑：美团，百度，米哈游已点赞：快手，网易，众安，字节跳动，蚂蚁ttl：3.16投递-3.25 一面-3.30 二面-3.31 hr面-4.2 oc

这一轮更偏大模型、量化和推理基础理解这场蚂蚁 AI Infra 三面，整体感觉和前两轮又不太一样。前两轮更多是在深挖我已经做过的项目，这一轮虽然也会问项目，但明显更关注我对大模型推理、量化、KV Cache、attention 这些基础问题到底理解到什么程度。开头还是先做自我介绍，我主要讲了自己现在在做的几个方向：一段偏工程化的软件开发经历，一段偏算子和图优化的实习经历，以及自己在做的一个基于 Python extension 的量化推理 runtime 小项目。这一轮项目部分问得相对直接。面试官先让我展开讲了自己做的那个量化推理 runtime。我这边讲的是，基于一个开源 runtime 做...