第一天到公司的时候，我自己上楼了(入职邮件说了是哪一层)，到了相应楼层，给导师打电话，导师一脸吃惊，说怎么我就到了，还以为我过段时间才来，导师穿着一双拖鞋，留着长发，稍显随意，导致我对导师的初步印象是：这靠谱吗，哈哈哈给我安排好工位、办公电脑，转一圈认识组里同事之后，我就问导师组里的业务是啥，有没有一些资料让我熟悉一下。起初导师给我发了一些PPT，我看了一两个小时之后，导师突然间走过来，说：“算了，业务太多了，我给你讲讲和组里现在做的比较相关的”。然后花了一个小时，给我梳理了一遍组里的业务和相关专业名词，还给我介绍了整个技术栈。当天中午，导师就带我去饭堂吃饭。吃饭聊了一下，发现我俩没啥代沟，导...

为什么第一段实习都找不到😂，211本，项目一个点评一个微服务商城，

1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...