NVIDIA LLM日常实习面经

一面：
1. 实习&项目深挖（具体到模型大小，数据集大小、超参数设置）
2. LLM架构，SFT、PEFT相关的问题
3. （忘记了，等想起来就补上）
4. softmax如何求导
5. CER是什么？编辑距离怎么算？（要求口述转移方程 ）
6. MultiheadAttention的计算流程，参数量，FLOPs，以及具体实现需要注意什么
7. LeetCode跳跃游戏原题

总体来讲比较简单，没有让现场手撕代码，都是口述思路和其中的细节（我愿称之为口撕代码），还是第一次见，挺有意思的。。