美甲大模型实习面经（一面）

🔞 美甲
🧑‍🔧 语音算法实习
😶‍🌫️ 项目提问+八股
1. 自我介绍
2. 介绍一下简历上的大模型项目；讲一讲如何做数据清理的；角色知识增强是怎么做的；推理阶段有无优化；有没有最新的改进。
3. 介绍一下现在的研究方向以及论文。（主要听听思路，由于我说借鉴了RLHF的思路，借机问了一下RLHF的技术框架）
4. LoRA的原理；RLHF的细节（要求更细致的介绍，这里问了一个我不是很理解的问题，除了reward model和llm，还用到了什么模型？之后查了一下确实就这两个啊）
5. 手撕MHA（pytorch）；GQA的原理。
6. 输入的padding部分是如何参与计算的；为什么用left padding而不是right padding。
7. 让大模型确保输出json格式有什么办法？
8. 介绍一下softmax的数值溢出，以及有什么办法解决。
反问：主要业务是什么；实习时间的要求。

感觉比之前面试状态要好很多，回答还是比较流畅。同时，这次发现了一些之前没复习到的地方，回去一定补。