卓驭 机器学习平台工程师 一面面经

1. GRPO是on policy还是off policy？为什么？2. GRPO利用的数据是旧策略产生的，那为什么还叫on policy？3. 重要性采样解决了什么问题？ 公式是怎么样的？解释下每个参数4. GSPO和DAPO分别解决了什么问题？怎么解决的？5. 什么是强化学习的熵崩溃？怎么优化或者解决这个问题？6. 熵崩溃和reward hacking什么关系？7. Qwen3和ds r1区别？8. 如何确定你项目的评估指标迭代是否符合当前需求？9. MLA具体是怎么做的？可以加快推理速度吗？10.  代码题是给三段代码，判断输出。

BG：双非本 末9硕 无实习 无成果 ktz无资源 非科班是走Agent 的开发还是传统的业务开发，或者是其它的方向呢？走Agent开发需要我在这半年时间里，学习一遍，基本从0开始，不知道学历够不够，时间来不来得及C艹稍微熟悉点 Java没学过基本上干了一年的h项，这一年学习并做了相关infra的项目，但项目的深度不太够，且这个赛道比较小，未来还是难去芯片厂或一些大厂，因此大概率想转行求各位大佬指点一下，谢谢！！！

1️⃣实习介绍2️⃣基本就是顺着简历全在问八股1.Transformer 的结构，有哪些可以学习的参数2.多头自注意力结构，矩阵个数3.ffn结构4.encoded decoder 区别5.一个 decoder block 由几个部分组成6.encoder 的输出，作为什么到 decoder7.为什么 decoder 更适合生成8.decided mask 在推理中有用吗9.Transformers 各个架构的改进（attention/ffn/位置编码）分为：10.GQA MHA MQA 区别11.swiGLU 的改进12.rope 在哪里加入3️⃣然后开始项目，其实也问很多八股：1.用的什么开源 dpo 数据2.为什么没用 qwen-33.全参数微调 7B 需要多少显存4.FP16/BF16 区别5.AdamW 显存计算6.介绍 Flash attention7.介绍 gradient checkpoint8.RougeL 计算方法9.代码：找数组第 k 大元素

1.项目介绍，问实习和论文2.大模型的超长上下文问题怎么解决预训练和 SFT 的损失一样吗3.RL 中 Reward 和优势有什么区别4. LoRA 训练和全参训练的优劣5.了解哪些常用的 RL 算法6.最新的 GSPO 重要性采样7.讲一下 DeepSeek R1，推理模型怎样训练8.GRPO 比 PPO 强在哪9.对 DAPO 和 VAPO 有了解吗10.代码：接雨水