1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...

10号下午二面的，今晚才从复试通知链接变成这个进度，求佬解答

双非本科，靠着字节、百度、蔚来三段实习一路撑到春招，到现在才真正认清现实。一封封感谢信砸过来，慢慢明白，学历和学校带来的门槛，远比几段光鲜实习要重得多。最让人无力的，莫过于拼尽全力刷实习、攒经历，最后却连一个入场机会都换不来，那种落差感真的太磨人。总自以为是地觉得，有大厂实习就够了，一定能挤进心仪的公司，可现实一次又一次把幻想击碎。现在的我，早已没了春招初期的锐气，只剩下满心的迷茫和惆怅。不知道是该坦然接受现实，还是继续抱着不切实际的期待，在大厂的梦里不肯醒。

📍面试公司：字节-中国交易与广告🕐面试时间：4-1💻面试岗位：后端开发❓面试问题：全程问黑马点评那个项目1.token是怎么生成的；2.token续约是怎么做的3.为什么用threadlocal4.threadlocal有什么缺点5.有什么可以代替threadlocal(问我知不知道另外一种threadlocal，听都没听过，没回答上来)6.讲一下redis五种数据结构的底层7.你的项目支持在多端登录吗？8.怎么把他改造成只允许在一个设备上面登录然后是道算法题：寻找重复数（上去脑子短路了，一下没想起来，悲）🙌面试感想：项目全部回答上来了，但是算法没写出来，凉了，感觉面试官还不错，就是自...