1.介绍实习项目，围绕项目问技术细节2.介绍RAG项目，文档类型是什么，对于图片和表格怎么处理3.RAG怎么评估，指标有哪些4.生成模型用的什么，为什么这样选型，有没有对比过其他模型5. QWEN2的架构和训练方式6.SFT数据问题不够多样化怎么办7.怎么构建SFT数据集，数据量多少，微调方式是什么8.项目为什么用GRPO而不是SFT9.介绍一下function calling和MCP10.介绍检索做的优化

项目方面： 1、项目LLM如何微调的，数据如何注册到LLaMA Factory中？2、项目中最大的挑战是什么？面试官认为这个项目比较简单，就问了从这个项目中学到了什么？3、针对项目内容做了些提问，例如模型尺寸、为什么这个尺寸、内容、样本token、有没有bad case？4、聊了一些关于LLM的Json结构化输出5、结果的评估八股方面：1、1.7B模型为什么要用LoRA微调？全参微调会占用多大显存？2、关于batch size大小与泛化性关系、以及和learn rate的关系，以及累计梯度3、LoRA如何做初始化？4、Transformer中Encoder和Decoder的区别和联系，以及如果单独分开的话，优缺点是什么？5、Transformer中最核心的是Attention，Encoder中的叫Self-Attention，Decoder中的可以叫Self-Attention吗？6、有哪些代表性的Encoder模型，因为我回答了BERT，就追问了bert的训练任务？7、Tokenizer方法有什么？原理介绍一下。如何从自然文本映射到词汇表，即做Encode？文本中特殊的token如何处理？是要直接拆开吗？8、为什么需要位置编码？位置编码主要特征是什么？位置编码特性是什么，或者说怎么样才是一个好的位置编码？主流位置编码，及其思路？9、大模型中对显存的优化？模型、架构、或工程上？量化的对称量化和非对称量化？手撕：买股票的最好时机

1. 项目介绍2. itemcf公式，itemcf改进的公式了解吗3.项目拷打，问的比较仔细，模型的参数，数据量等4. MMOE的缺点？PLE的改进点在哪？transformer中用softmax有什么问题呢？该怎么解决6. 场景题：Alice和Bob选数字，偶数A得分，奇数B得分7. 手撕：最长递增子序列的改版8.反问

1.项目介绍2.介绍实习3.数据集使用的是公开数据集还在有自己构造数据集4.分别讲-下 Dense 模型和 MoE 模型以及二者的区别5.讲一下MoE的 路由机制是如何做的6.训练完验证使用的是什么数据集7.做这个工作的过程中的难点在哪8.如何做的 SFTQ9.介绍一下 PPO10.讲-下 RAG° 项目11.分类任务常用的评测指标有哪些12.讲-下 LORA° 微调的原理13.A、B 矩阵怎么初始化的14.LORA 微调秩设置的是多少15.算法题:三数之和