百度-AI异构计算-二面面经

1. GRPO是on policy还是off policy？为什么？2. GRPO利用的数据是旧策略产生的，那为什么还叫on policy？3. 重要性采样解决了什么问题？ 公式是怎么样的？解释下每个参数4. GSPO和DAPO分别解决了什么问题？怎么解决的？5. 什么是强化学习的熵崩溃？怎么优化或者解决这个问题？6. 熵崩溃和reward hacking什么关系？7. Qwen3和ds r1区别？8. 如何确定你项目的评估指标迭代是否符合当前需求？9. MLA具体是怎么做的？可以加快推理速度吗？10.  代码题是给三段代码，判断输出。

求职新手做简历有一个通病：简历都写得很满，技术栈堆了一大堆（Java/Go/Python/Docker/c++全写上），项目也写了两三个，但面试邀请率低的可怜。为什么？因为你的简历是一篇流水账，而不是一份战绩表。普通的简历只能证明“你会用这个工具”，而有深度的简历能证明“你有解决问题的脑子”。在面试官眼里，有深度的简历和小白简历的区别，就在于能不能回答这几个问题：难在哪里？ (Technical Complexity)你是怎么解决的？ (Problem Solving)结果提升了多少？ (Quantifiable Impact)后续还可以怎么优化？ (Plan/Evolution)内容有了，那...

1.项目介绍，问实习和论文2.大模型的超长上下文问题怎么解决预训练和 SFT 的损失一样吗3.RL 中 Reward 和优势有什么区别4. LoRA 训练和全参训练的优劣5.了解哪些常用的 RL 算法6.最新的 GSPO 重要性采样7.讲一下 DeepSeek R1，推理模型怎样训练8.GRPO 比 PPO 强在哪9.对 DAPO 和 VAPO 有了解吗10.代码：接雨水

1️⃣实习介绍2️⃣基本就是顺着简历全在问八股1.Transformer 的结构，有哪些可以学习的参数2.多头自注意力结构，矩阵个数3.ffn结构4.encoded decoder 区别5.一个 decoder block 由几个部分组成6.encoder 的输出，作为什么到 decoder7.为什么 decoder 更适合生成8.decided mask 在推理中有用吗9.Transformers 各个架构的改进（attention/ffn/位置编码）分为：10.GQA MHA MQA 区别11.swiGLU 的改进12.rope 在哪里加入3️⃣然后开始项目，其实也问很多八股：1.用的什么开源 dpo 数据2.为什么没用 qwen-33.全参数微调 7B 需要多少显存4.FP16/BF16 区别5.AdamW 显存计算6.介绍 Flash attention7.介绍 gradient checkpoint8.RougeL 计算方法9.代码：找数组第 k 大元素