大模型面经每日总结 （阿里大模型算法）

#面经##阿里#
1.能通俗解释一下什么是近端策略优化（PPO）吗？它在基于人类反馈的强化学习里扮演啥角色？
2.直接偏好优化（DPO）和 PPO 比，最大的优势是什么？为啥说它计算成本更低？
3.听说 DPO 有个小缺点，泛化能力不如在线方法，你能结合实际例子说说为啥会这样吗？
4.DeepSeek-R1 的核心技术 GRPO（广义强化学习策略优化），它设计的纯 RL 环境和之前的方法有啥不同？那个内在奖励机制又是怎么运作的？
5.用大白话讲讲，GRPO 里的置信度量化作为内在奖励，是怎么帮助模型优化推理路径的？
6.DeepSeek-R1 用思维链（CoT）优化，让模型的数学和代码能力变强了，具体是怎么通过 RL 让模型生成结构化反思的？
7.阿里 QwenLong-L1-32B 在长上下文推理上表现不错，它用的渐进式上下文扩展和混合奖励机制是咋配合，让模型处理 13 万 token 长文本的？
8.如果现在要做一个语言模型项目，在 PPO、DPO、GRPO 里，你会优先选哪个？为什么？
9.从 PPO 到 DPO 再到 GRPO，这些技术的演进，反映出强化学习在语言模型优化上怎样的发展趋势？
10.结合你做过的项目，谈谈如果引入 GRPO 和思维链优化，可能会给项目带来哪些改变和挑战？