蚂蚁大模型Agent算法二面-55min

攒人品中，祝大家都能拿到满意的Offer！1.项目拷打2. 实习拷打3. 你们选用的训练方法是什么？训练数据具体是怎么构造的？4. 这里的训练过程，我理解是前面有一段医学语料的预训练，然后再加一段对齐过程，是这样吗？5. 关于 SFT 阶段，数据具体是怎么生成的？6. SFT 之后，后面的 DPO 过程又是如何开展的？7. DPO 需要 Chosen 和 Rejected 至少两组对比数据，这两组数据你们是怎么得到的？8. 我们现在这边可能对于医疗业务关系比较远，问一下更加基础的知识。既然谈到 DPO，谈一下 DPO 以及后续其他偏好学习算法的区别，以及各自的优劣。9. 那么 GRPO 算法呢？10. DPO 算法有哪些缺点？11. 谈谈强化学习中 On-policy 和 Off-policy 的区别，你是怎么理解的？12. 看你不仅做训练，还负责基础设施 Infra 的搭建。训练基础设施也是归你亲自搭吗？13. 当时是在哪个项目里面参与 Infra 工作的14. 你刚才提到了 Megatron，你们试过 PyTorch 原生的 FSDP 吗？15. 既然试过 FSDP，为什么最终还是选用了 Megatron？，你们当时的选型考量是什么？16. 既然提到 FSDP 和 DeepSpeed ZeRO 的区别，FSDP 实现了 ZeRO 的哪几个阶段？ZeRO-1, 2 还是 3？17. 探讨一个现实的业务问题：我们核心业务是对话类 Agent 产品。经典架构是前端设有一个意图识别与路由环节，将客户请求分发到不同的子 Agent，由于子 Agent 功能实现完全不同，不能混在一起，所以路由非常关键，一旦路由错误就无法满意回答。另外，作为全链路的必经点，路由必须足够快。我们考虑在最前端用一个相对较小（如 7B 或 13B）的模型，通过后训练使其掌握特定领域知识，实现低延迟的路由。如果让你做这个模型，你会怎么去做？

1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...

聊一面布置的任务那个demo问了一下实习的时候遇到问题怎么解决聊了一下ai看法，未来程序员发展无手撕，也没有新的大作业

一面-大概32分钟1、自我介绍2、项目介绍3、假如搭建一个agent来帮助我测试上面介绍的项目，会怎么搭建，技术栈4、手撕题，一个hard说是可以ai coding，写完讲思路5、agent项目6、线程、进程、协程解释（这个真不会，举了个例子来说我在业务遇到这几个概念）7、如何借助ai使得整个测试流程自动化8、如何软件工程的那些我不会的东西9、薪资base和回杭州之后的计划10、反问11、再介绍了一手面试流程和后续安排