9.11美团一面

📍面试公司：字节-中国交易与广告🕐面试时间：4-1💻面试岗位：后端开发❓面试问题：全程问黑马点评那个项目1.token是怎么生成的；2.token续约是怎么做的3.为什么用threadlocal4.threadlocal有什么缺点5.有什么可以代替threadlocal(问我知不知道另外一种threadlocal，听都没听过，没回答上来)6.讲一下redis五种数据结构的底层7.你的项目支持在多端登录吗？8.怎么把他改造成只允许在一个设备上面登录然后是道算法题：寻找重复数（上去脑子短路了，一下没想起来，悲）🙌面试感想：项目全部回答上来了，但是算法没写出来，凉了，感觉面试官还不错，就是自...

太难写了

项目代码黑马点评，ai优化了一下，加了几个点agent项目也是比较简单玩具的一个项目。代码能力实在不怎么熟练，光去看八股了，算法的话，目前刷了两遍hot100和部分的150的题目面后端的话，直接对着大厂暑期实习冲吗，海投那样吗？求大佬点评点评

1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...