小鹏汽车日常实习大模型面经

一面
1.介绍项目，问项目难点在哪，怎么解决的
2.问项目里的数据合成方法，如果不这么做还可以怎么做
3.问RAG的流程，知识库，检索方式，提示词怎么写的，问RAG里的一些问题，如果检索不到怎么办，如果知识库没结果怎么办等等
4.问DPO PPO GRPO原理，问loss怎么算的，对比
5.做DPO的时候调了哪个参数，有什么作用(beta)
6.transformer架构、注意力机制，问知不知道其他的除了
7.MHA之外的比如GQA等
8.手撕-旋转遍历矩阵
二面
1.介绍项目，问项目背景、项目里一些问题
2.讲了实习项目里DPO的一些设计
3.问知不知道模型训练的一些参数，答了温度参数、topp、top-k这些，然后问互相搭配的一些影响，问原理手撕-忘记了但也是力扣原题很简单