小红书 9.29 笔试解析

1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...

为什么面了八次次次都是一面挂，次次都不说原因，问了面试官就是插科打诨，为什么别人一面就过呢，真的没有缘分呀。不考编程就是脑筋急转弯的概率题，考了编程a了也不过没a也不过 总之就是不过，没一次二面，深深的怨念。觉得我不够资格就直接拉黑简历呗，每次都捞起来重新拷打一顿什么意思呢。

经历过也当过面试官，感觉面试官的“尖刻”，通常分三种，应对策略完全不同：第一种：压力测试型（占大多数）表现：连续追问细节，挑战你的方案，甚至质疑你的结论。比如：“你这个活动的成功，有没有可能是运气？”“你这个数据是怎么得到的？落地性经过检验了吗？”目的：考察你的抗压能力、逻辑扎实程度和自信水平。看你是在压力下崩溃，还是能冷静捍卫自己的观点。我们怎么办：保持镇定，把质疑当作深入的讨论机会。你可以说：“您提的这点很关键，我当时的考虑是…，从结果来看…，如果再来一次，我会加入…的验证。” 展示你的思考深度和成长性。第二种：秀优越感/PUA型（少数，但存在）表现：打断你说话，用居高临下的语气否定你的经...