中通服咨询设计研究院

自我介绍——5min项目相关细节提问——5min（对项目不是很感兴趣）项目相关技术提问——25min * 2面（与之前的面经贴中重复的技术问题不在展示）1. 了解 DeepSpeed 吗？训练时用 ZeRO 优化主要是解决啥问题？ZeRO 的三个阶段分别都是啥？2. TP 或 PP 了解吗？3. 并行训练时，如果模型参数量不大，怎么决定用 PP 还是 TP 策略？它们各自有啥好坏？4. 如果用 TP=2 的策略，self-attention 层里的 QKV 矩阵具体是怎么切分的？5. 用 TP 的时候，主要会发生哪些通信？不同的切分方式会改变通信行为吗？举个例子呗。6. 讲讲 Flash At...

一面 8.7主要是拷打论文、项目还有八股，个人感觉难度适中，但是考察面交广泛。面试官做inference方向的，刚好项目里面有一个大模型推理优化的，所以拷打的比较多。具体八股问题依稀记得下面几个： 介绍一下分词的原理，现代大模型的分词方式。介绍一下Transformer架构，亮点在哪相较于LSM序列模型，Transformer的架构优势在哪Transformer到现在发生了哪些改变（从Transformer到LLama系列的变迁史，这个问的很细，一直追问）DeepSeek系列正则表达式和python脚本都什么时候用反问阶段：主要从事什么工作：HR全在讲推理，做得少，没怎么听得懂，但是总之和高校...

先是自我介绍，聊了聊项目和之前的实习。八股：1. 大模型预测 token 的损失是怎么算的？有哪几种常见的损失函数？2. 讲讲大模型的思维链技术？3. 聊聊 Transformer？它有啥优势？位置编码是咋做的，有啥改进？ROPE 是啥？Transformer 是怎么把文本转成 token 的？4. Lora 微调八股：矩阵 A, B 怎么初始化？为啥 B 要初始化成 0，A 不行吗？啥是矩阵的秩？5. Bert 和 GPT 有啥区别？大模型时代，小模型还有用吗？6. MHA 是啥？有啥改进？讲讲 DeepSeek 的 MLA？7. MOE 一般加在哪？从训练和推理的角度看，MOE 有啥好处？...