广立微 大模型算法一面

1.实习介绍2.论文工作介绍3.为什么构建这个benchmark4.构建数据集的时候遇到哪些问题，怎么解决5.选择这个微调模型的原因6.mplug的框架7.视觉编码器用的什么8.线性投影层具体情况9.qwen2的结构10.transformer的计算11.了不了解其他的transformer或者attention12.用了多少卡13.怎么做的分布式训练14.zero3不适合训练使用的原因15.介绍论文的多阶段CoT微调16.lora的原理17.lora的初始化18.矩阵B 为什么用0初始化19.手撕：一个字符串中出现次数最多的字符以及次数20.反问的时候还问了强化学习的原理

请教有什么需要更改的地方

1.项目介绍2.讲一下在百度实习期间做的主要工作。3.压缩专家机制是如何实现的？4.用的训练数据集规模分别是多少？5.为什么选择用SFT训练，而不是用RL训练？6.介绍一下 DPO, PPO, GRPO的原理和区别7.PPO的损失是token级别还是sequence级别的？8.PPO中的Critic模型是如何计算优势的？9.讲一下LoRA微调技术原理10.LoRA微调是如何减少训练参数的？11.LoRA技术有哪些优势？12.算法题手撕 三数之和（撕出来了

1.八股：XGBoost 如何计算特征重要性？Gini 系数在树模型中代表什么？它和信息增益的区别在哪？2.八股：Decoder-only 模型在推理时，预测第 i+1 个 token 时，输入用的是第 i 个 token 的 one-hot 还是概率分布？为什么？3.八股：KV Cache 的空间复杂度是多少？如何估算一个 7B 模型在 batch=1、seq_len=2048 下的显存占用？4.八股：AdamW 和 Adam 的核心区别是什么？Adam 相比 SGD 引入了哪些优化机制？Adam 全称是什么？5.项目：你们验证集的类别分布是否和线上一致？如何保证标注数据的高质量（比如通过交叉校验 or 专家审核）？6.项目：在当前 RAG 架构下，如果引入 Few-shot Prompting，为什么能提升输出质量？和微调相比各自适用场景是什么？7.项目：FAISS 是如何加速向量检索的？你用的是 IVF 还是 HNSW？索引构建时 nlist/nprobe 怎么调？8.手撕：最长回文子串（LeetCode 5）