25暑期面经总结
经历了慌忙的三月四月,终于找到实习艰难入职了,做一下这两个月近10场面试的经历汇总~
- 自我介绍。一般来说这部分中规中矩,按模板来即可,但如果有简历没提到的内容想着重介绍,也可以在这里提一嘴(顺便看看面试官反应,是不是感兴趣
- 深挖简历。这一环节通常是面试重点,也是我们需要准备的关键。通常来讲,面试官依据对口的技术点会以【实习】-【论文】-【竞赛】-【项目】的优先级随机提问,因此简历上涉及的关键词及相关概念一定要能倒背如流(否则容易扣大分
- 八股:
- 介绍一下Transformer
- 讲一下Layer Norm和Batch Norm的区别
- 接触过哪些大模型(chatglm,llama等
- 大模型微调有哪些方法,适用场景是什么
- 讲一下continue-pretrain、全参fft、peft的区别
- 垂域大模型的数据集怎么构建的
- 怎么评测大模型的能力
- 遇到过大模型的灾难性遗忘和幻觉问题吗,怎么解决
- 有没有使用过分布式训练(讲了下ddp
- 在训练过程中,哪些部分会占用显存
- 说明一下Bert和Llama2-7B的各模块参数量是怎么计算的
- 了解过DeepSpeed吗?介绍一下ZeRO 1 2 3
- 使用多卡训练的时候,学习率相比单卡应该如何设置
- 了解过模型部署和模型加速吗,讲一下大致原理(简单讲了下tensorRT和vllm
- 介绍一下倒排索引
- 有两个索引,分别是1k和1b,如何合并
- 手撕:
- 智力题(脑筋急转弯)
- 古典概率题(数学题)
- 拒绝采样+蒙特卡洛采样
- 单调栈/二分/dfs等(力扣medium