腾讯LLM大模型算法二面-实习面经

1.八股：GRPO 和 PPO 在 RLHF 中的核心区别是什么？为什么选择 GRPO 而不是 PPO？
2.八股：KL 散度在 RLHF 中的作用是什么？它的公式如何直观理解？
3.八股：vLLM 的核心优势是什么？它是如何通过 PagedAttention 提升显存利用率的？
4.八股：Qwen3 和 DeepSeek-R1 在架构上有哪些关键差异？（如 MLA、MoE、GQA 等）
5.项目：微调数据集的结构是怎样的？有多少条？数据清洗和有效性验证是怎么做的？
6.项目：奖励函数是如何设计的？是否考虑了回答的正确性（如推荐商品是否真符合用户需求）而不仅是长度或流畅度？
7.项目：怎么避免模型靠堆字数刷奖励？
8.项目: KV Cache 在长上下文推理中可能被污染，你们有做缓存隔离或清理机制吗？
9.项目：本地部署时，如何平衡 vLLM 的上下文长度和显存占用？是否做过量化或动态批处理？
10.手撕：乘积最大子数组（LeetCode 152）