1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...

感觉就是那种，背景也不够硬，实习也不够硬，啥都不够硬，除了硬着头皮在各个招聘软件和官网平台投没有任何收获，已经不知道自己能干啥了……

最后还是去鹅了，选来选去也没什么可选的，暑期到现在也就字节跟腾讯给了面试，腾讯很快就过了，业务一般，身边很多人劝留在手子，但是还是想试试新的机会，纠结来纠结去，其实也就是一份工作而已，自己之前把它看得太重了，希望之后能放轻松对待吧。timeline3.12一面3.16二面3.23三面，面完直接转HR面3.24HR面，面完直接转录用评估3.25oc

时长30分钟1.自我介绍2.项目拷问一些工作细节3.用过的设计模式，单例模式考察到底，双重检查锁作用，还有静态内部类4.线程创建方式5.Runnable和Callable区别6.String、StringBuilder，StringBuffer6.HashMap一堆7.AI的使用和未来AI的看法8.工作地点的选择英语水平反问：规模和业务 主要车机开发的安卓开发新人进去后的挑战/问题AI看法AI对整个行业冲击力度还是有点大的，目前还不是能够全部替代，还是一个辅助功能，可能未来能全部替代吧，谁也说不准。对于求职的我们的要求进一步加深，学历+技术+实习+软实力==offer++；