项目一：模型微调相关（面试问答总结） 首先让我介绍了简历中的第一个项目——模型微调相关项目。在交流过程中，面试官主要围绕以下几个方面进行了提问： 1. 指令遵循能力（未微调情况下的提升方式） 面试官提问： 如果不进行微调，如何让模型在回答指令时具有更高的指令遵循能力（例如格式准确率更高）？ 2. 训练数据来源与构造  训练数据是如何获取的？ 数据是如何构造和设计的？  3. Transformer 中的注意力机制  讲解 注意力机制（Attention Mechanism） 的基本原理。 为什么在计算注意力分数时需要 除以 ？ 为什么是 ，而不是 ？  4. LoRA（Low-Rank Ada...

完全是个门外汉，项目都是急匆匆赶出来的，求求佬们看看吧😭😭

算法面经：📌【一面】基础八股 + RAG深挖八股：介绍几种Attention（MHA，MQA，GQA）的区别八股：分别讲一下Dense模型和MoE模型以及二者的区别八股：讲一下MoE的路由机制是如何做的？项目：介绍RAG项目，讲一下RAG项目的亮点项目：如果召回的答案不是想要的，该怎么处理？项目：讲一下BM25算法原理项目：是否做过意图识别？如果要做意图识别，可以怎么实现？项目：微调项目是如何模型选型项目：如何做微调的？直接用 PEFT 库，还是用LLama Factory做的？项目：讲一下DPO, PPO, GRPO的原理和区别，写一下DPO loss函数代码题：lc15 三数之和【二面】...