携程2023春招内推

1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...

27届，投实习  

之前我去面试，等候区坐了个特别帅的哥们儿，我心想完了这颜值我肯定比不过。结果出来一聊，他一面就挂了，我过了。我导师做过三年技术面试官，他说："长得好看我确实会第一眼印象好点，但只要张嘴答题，5分钟内就能判断水平。颜值最多给你加1分，技术不行扣的是10分。"但也不能说完全没用。我观察下来，真正加分的不是"长得帅"，而是"看起来靠谱"。什么叫靠谱？头发不油、衣服整洁、说话时眼神不躲闪、坐姿端正。这些细节给人的感觉是"这人做事应该也挺靠谱"。我有个同学长相一般，但每次面试都提前理发、穿干净的衬衫、背挺得笔直，offer拿...