k完了

研发卷，10道选择题 + 3道编程题，选择题基本上都是AI/大模型相关：RAG、大模型等等，最近做笔试基本上都是AI相关的了， 大家还是提前多刷刷AI的知识吧 编程题： T1. 风不吹雨 操作 1 是把  变成 ，最多用  次；操作 2 是减 ，最多用  次。每个位置每种操作最多做一次，两种可以同时做，求最小元素和。 一个比较显然的结论：如果同时做两种操作，先除后减一定不差于先减后除（因为除法会把减掉的量也砍半）。所以同时做两种操作的减少量就是 ，其中 。 然后注意到操作 2 对每个元素的减少量都是 ，跟选哪个元素无关。所以操作 2 直接贡献  的减少量。操作 1 的减少量取决于选哪些元素，贪...

一股神秘的力量，我是不是被资本做局了

1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...