25暑期面经总结

经历了慌忙的三月四月，终于找到实习艰难入职了，做一下这两个月近10场面试的经历汇总~

1. 自我介绍。一般来说这部分中规中矩，按模板来即可，但如果有简历没提到的内容想着重介绍，也可以在这里提一嘴（顺便看看面试官反应，是不是感兴趣
2. 深挖简历。这一环节通常是面试重点，也是我们需要准备的关键。通常来讲，面试官依据对口的技术点会以【实习】-【论文】-【竞赛】-【项目】的优先级随机提问，因此简历上涉及的关键词及相关概念一定要能倒背如流（否则容易扣大分
3. 八股：
1. 介绍一下Transformer
2. 讲一下Layer Norm和Batch Norm的区别
3. 接触过哪些大模型（chatglm，llama等
4. 大模型微调有哪些方法，适用场景是什么
5. 讲一下continue-pretrain、全参fft、peft的区别
6. 垂域大模型的数据集怎么构建的
7. 怎么评测大模型的能力
8. 遇到过大模型的灾难性遗忘和幻觉问题吗，怎么解决
9. 有没有使用过分布式训练（讲了下ddp
10. 在训练过程中，哪些部分会占用显存
11. 说明一下Bert和Llama2-7B的各模块参数量是怎么计算的
12. 了解过DeepSpeed吗？介绍一下ZeRO 1 2 3
13. 使用多卡训练的时候，学习率相比单卡应该如何设置
14. 了解过模型部署和模型加速吗，讲一下大致原理（简单讲了下tensorRT和vllm
15. 介绍一下倒排索引
16. 有两个索引，分别是1k和1b，如何合并
4. 手撕：
1. 智力题（脑筋急转弯）
2. 古典概率题（数学题）
3. 拒绝采样+蒙特卡洛采样
4. 单调栈/二分/dfs等（力扣medium