1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...

拼多多测试一面，

GPT你能不能别吹牛逼了，问你你就回答，每次拍我马屁什么意思

第一场字节，三进宫，压力还是那么的大，现场共享屏幕启动项目看流程，结果当场出bug，在这浪费了将近20min还没搞出来（其实就是提示词模版给错了，导致空指针，还是压力太大了），然后问我二开项目是不是没跑过 ,算法是判断一棵树是不是另一棵树的子树，好像是力扣原题，75min。第二场钉钉，出场景题看你思考的深度（大型qps的一个系统，要求用到磁盘，怎么优化，我的思路是redis那一套，多实例，缓存，缓存淘汰策略），跟面试官有说有笑，谈到了ai 替代程序员的话题，45min，无算法。第三场美团，这个体验最好，面试官是个同龄人，彬彬有礼，一直围绕着项目聊，对每一个点都仔细询问，有没有什么替代方案，也问...