多模态算法实习一面-小红书

📍面试公司：百度 文心一言🕐面试时间：2026.03.18💻面试岗位：大模型RL后训练❓面试问题：自我介绍，教育背景，项目经历项目介绍，基于大语言模型的信号灯控制，问题是什么，如何结合熵，怎么评测，指标结果如何强化学习理论内容，trust-range和PPO的关系PPO是off-policy or on-policy? on-policy为什么会有importance sampling，采样的策略模型和要训练的策略模型有偏差，重要性采样加以修正PPO的clip在优势A 正/负时 限制上/下届，A为正限制上届，A为负限制下届PPO的损失函数怎么计算的？广义优势估计是怎么计算？GAE中lam...

继续来分享下之前的面经~欢迎友好讨论，信息共享1. LLaMA 相比原始 Transformer 架构有哪些改进？2. 微调（Fine-tuning）和对齐（Alignment）的区别？3. 模型微调到什么程度才需要进行对齐？4. 四种对齐算法的区别：PPO、DPO、GRPO、DSPO？5. 位置编码的作用？为什么相对位置编码通常比绝对位置编码更好？6. GAE（Generalized Advantage Estimation）以及重要性采样（Importance Sampling）？7. 损失采样（Loss Sampling）相关问题？8. 目前了解哪些大模型架构？例如 LLaMA 等。9. 是否了解 PagedAttention？10. LoRA 中两个低秩矩阵是如何初始化的？11. PPO 中的四种模型分别是什么？各自的作用是什么？

📍面试公司：百度 🕐面试时间：2026.03.20💻面试岗位：文心一言 后训练❓面试问题：自我介绍，教育背景，项目，和实习（两段本科Java web实习，没有后训练实习经验）GRPO训练的数据流KL散度的计算公式，怎么做平滑softmax的计算公式，怎么防止数值爆炸，有什么影响GRPO里的$\pi_\theta$, $\pi_\theta_{old}$, $\pi_\theta_{rollout}GRPO里是off-poliy/on-policy，当batch_size非常大时，如何缓解off-poliy的问题？平时使用vibing code的频率，以及使用的模型有哪些？了解TRL，VE...

总时长35分钟，无手撕，感觉遇到KPI面了，唉35分钟一直在问实习，八股就问了下面的1.redis与数据库的缓存一致性2.redis的zset数据结构3.redis的两个持久化机制4.分布式cap理论5.什么时候ap，什么时候cp6.进程线程协程问怎么没手撕，说一面撕过了，业务是应用宝游戏商城，后面过了还有一面技术面，问面试表现，说挺顺的，可以再关注一下运维数据，然后问转go有难度嘛，就结束了