百度内推

本人大三，在找日常（暑期）实习，年后这一个月面了几家大厂，但都挂了，有的直接在初筛阶段就给我踢了。最好的就是字节进了二面（字节实习生一般三轮：技术面、主管面、HR 面），二面结束以后我过几个小时就点开邮件看看，心想这次一定要拿下，如果能进 HR 面的话基本就稳了。我面完当天晚上做梦都梦到拿到了 offer 给我乐醒了，打开手机一看原来是梦。第二天打开邮件收到了感谢信，心情直接跌到谷底。这几天一直在自我怀疑，就在想每天这起早贪黑的，睁眼闭眼就是算法代码，到头来还是一场空，真觉得挺没意思的。我的性格一直比较要强好胜，我太想要一个机会来证明自己，但是没有办法，无论是我的学历，学校，还是学术项目，竞赛...

简历如下，也是改了不下十版了三月初开始投递，到现在感觉投递了有个1500家了（实习，全职）面了10家左右的样子（都是线上的，线下的我一律当做刷kpi没接，现在感觉线上线下都是刷KPI的），笔试倒是做了不少，收到了两份实习offer都拒绝了（一个140/天+外地，一个120/天本地初创）最近也不知道投啥了，想着春招实习两手抓，但是投递的很多岗位有要求1-3年经验，投出去也是石沉大海杳无音信，偶尔有几个回复，然后就是笔试面试，再无后续慢慢的也有点蕉绿起来了😭😭还有课设，论文乱七八糟的当时还选择了考研，找学长问考研经验，学长第一句话就是不建议考研，当时还不以为然，现在想想……

1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...