攒人品：小米 大模型算法面经

1. 场景题: 用户上传好几篇论文，AI能够精准总结并且能输出对比表格，怎么让Qwen具有这样的能力，全流程是什么？2. 微调的数据集哪里来的？数据怎么处理的？3. 会不会Linux4. 如何评估数据集的质量

27届大模型实习，SFT、RL、Agent、Prompt 工程都能干，太卷了，求各位大佬内推实习Bg：1. 上海人工智能实验室书生实训营十佳项目、优秀营员（Agent，多家公众号宣传）；2. EMNLP一作、ACL多篇在投，方向围绕安全对齐、CoT、LoRA；3. 围绕 RL、SFT、Pretrain 实现小参数基座模型 BludLM（有A100算力随时随地可用）；4. 项目层面，MutiAgent-Search（无GPS图寻地址，Agent）、FreeKnowledgeAI（搜索引擎，tool）；5. 实习层面，目前在华为 MindSpore 参与开源实习，负责案例研发；

非常有挑战性且开放的一次面试，无八股无手撕1. 假如让你从零构建一个 vla 模型 你对他的架构的设计是怎么样的？为什么2. 假如让你写一篇 vla+rl 的 综述，你会怎么写3. 你怎么看 vla 大模型 和 世界模型两条 具身智能的技术路线4. 你对vla模型的改进有哪些？5. 你认为从长远来看 vla 可以有哪些工作可以做来克服具身智能的挑战。

给我面没招了。。。1. 项目拷打2. 详细阐述Transformer的底层原理，并说明其能够替代RNN的核心优势；结合Transformer架构的成熟度，分析Self-Attention机制在多模态对齐任务中是否存在瓶颈，以及在实际业务场景中，是否出现过注意力权重完全偏移的情况。3. 讲解LoRA的技术原理，说明LoRA是否仅能嵌入Linear层；分析LoRA无法在LayerNorm层之后插入的原因，以及该操作会对模型训练稳定性产生哪些具体影响。4. 结合实操经验，说明QLoRA降低训练资源成本的核心逻辑；列举常见的模型量化方式，并解释QLoRA选择NF4与FP16组合而非其他方案的原因，阐述NF4的分布拟合逻辑。5. 针对采用multi-query attention优化后，decoder延迟仍居高不下的问题，分析潜在性能瓶颈；探讨vLLM自带的KV Cache是否会成为推理过程中的负担。6. 分别说明Embedding模型与Rerank模型处理文本语料的核心流程，并结合实际应用场景举例说明。7. 结合过往RAG项目经验，讲解从数据清洗到检索服务上线的完整链路搭建流程，重点说明chunk切分的具体策略。8. 分析当前RAG技术落地的最大瓶颈，并阐述你在项目中采取过哪些优化手段来提升检索召回率（Recall）。9. 针对XX领域大模型的训练工作，说明SFT（监督微调）数据集的构造方法与核心思路。10. 结合LoRA微调实操经历，说明rank值的选择依据；在合并adapter权重的过程中，是否遇到过梯度爆炸问题，以及对应的解决方法。11. 结合你的模型部署相关经验，说明模型参数量与硬件算力需求之间的对应关系（例如不同参数量级模型所需的算力配置标准）；以部署一个稀疏率千分之三的235B参数量MOE架构模型为例，估算其所需的算力规模。12. 在搭建RAG知识库时，若需对文档进行动态更新，你采用的是全量嵌入还是增量处理方案？若为增量处理，如何规避新旧文档数据分布不一致导致的检索偏差问题。