02-07 19:25 山东大学 算法工程师
关注
实习面经-美团大模型机器学习 好难...
面的我口干舌燥，差不多75min
项目：
1.微调和强化学习想让模型学习到什么？
2.RAG如何进行构建的？
3.为什么选择微调8B的模型？为啥不用更小更大的模型？
4.为什么用DPO强化学习？
5.微调显存占用是多少？
6.微调占用的显存主要储存什么参数？
7.推理和训练的显存占用一样么？
8.如果不一样的话比例是多少？
9.为什么会有这样的比例？是什么原因导致的？
10.微调的LoRA参数是多少，为什么要这么设置？
八股：
1.讲讲DPO,GRPO,PPO的区别？
2.除了SFT,LoRA还知道哪些微调模型？
3.NF量化是什么？
4.量化有什么作用？
5.4-bit,8-bit,16-bit是什么意思？
6.训练和推理的时候用float量化还是int量化好？具体怎么体现的？
7.关于RAG还知道哪些检索方法和召回的方法？
8.FAISS库是干啥的？
9.FAISS主要储存什么？怎么使用的？
10.Mamba模型的架构（论文）
11.相比于linear attention，self attention有什么优势？
12.多模态有哪些模型？
13.CLIP模型的架构？
13.知道哪些市面上关于LLM和搜广推的结合的解决方案？
14.在处理长文本的时候，你有什么解决方法？
15.LoRA，QLoRA，Adapter LoRA的区别？
16.了解扩散模型么？
手撕：
最长连续系列
项目：
1.微调和强化学习想让模型学习到什么？
2.RAG如何进行构建的？
3.为什么选择微调8B的模型？为啥不用更小更大的模型？
4.为什么用DPO强化学习？
5.微调显存占用是多少？
6.微调占用的显存主要储存什么参数？
7.推理和训练的显存占用一样么？
8.如果不一样的话比例是多少？
9.为什么会有这样的比例？是什么原因导致的？
10.微调的LoRA参数是多少，为什么要这么设置？
八股：
1.讲讲DPO,GRPO,PPO的区别？
2.除了SFT,LoRA还知道哪些微调模型？
3.NF量化是什么？
4.量化有什么作用？
5.4-bit,8-bit,16-bit是什么意思？
6.训练和推理的时候用float量化还是int量化好？具体怎么体现的？
7.关于RAG还知道哪些检索方法和召回的方法？
8.FAISS库是干啥的？
9.FAISS主要储存什么？怎么使用的？
10.Mamba模型的架构（论文）
11.相比于linear attention，self attention有什么优势？
12.多模态有哪些模型？
13.CLIP模型的架构？
13.知道哪些市面上关于LLM和搜广推的结合的解决方案？
14.在处理长文本的时候，你有什么解决方法？
15.LoRA，QLoRA，Adapter LoRA的区别？
16.了解扩散模型么？
手撕：
最长连续系列
全部评论
DemonRain
Columbia University Python
mamba、clip也要问么？
相关推荐
查看10道真题和解析