百度大模型面经

1. 介绍自己的项目2. LLaMA和GLM的区别，模型架构等方面3. BLEU和ROUGE4. 数据量和这个效果之间的关系是什么样的5. LLM的参数介绍（temp topk top p等）6. 长度过长怎么处理，从是否fix原有模型回答。（BPE 扩展词表，分阶段generate）以及从input直接回答7. PEFT的方式8. data construction的tricks6. 淘天客服部门1. LLM generate 参数问题2. slef-attention得根号d3. LLM的评估4. 介绍下simCSE5. 解决tokens不够的问题应该怎么办6. 详细介绍下deepspeed（三个stage结合参数回答）7. gpt和llama的区别（模型结构上的）8. LORA论文讲一下，对比p-tuning9. LLM训练的时候为什么warmuppretrain数据量大，前面的数据量占比小，可能带来bias参数量大，初始化的时候w是随机的，防止爆炸10. 对比学习中的batch size是大一些好还是小一些好->大一些，甚至可以到10k+，为了构造好的negative样本11. coding：给你一个数组，返回其中的前k个出现频率最高的元素，假设数组特别大，k很小

1.自我介绍 2. Lora 原理（核心是低秩分解：将原始权重更新近似为两个低秩矩阵乘积，减少参数量，保留主导方向，训练高效） 3.了解 DeepSpeed 吗， ZeRO -1, ZeRO -2和 ZeRO -3分别做了哪些优化 （1 优化优化器状态，2 优化梯度，3 切分参数，全面节省显存） 4. Qwen的模型结构是怎么样的，相比于 LLaMA, DeepSeek 有什么区别（Qwen采用GQA+SwiGLU+RMSNorm，和LLaMA架构非常相似，差异在训练数据和tokenizer中文支持更好；DeepSeek只用MoE/ MLA架构，Qwen系列主要是Dense模型） 5.怎么缓解...

1.面试平台：美团视频面试（leetcode模式）2.自我介绍3.手撕代码：143. 重排链表（非hot100）4.手撕代码：102. 二叉树的层序遍历（hot100）5.手撕代码：121. 买卖股票的最佳时机（hot100）6.介绍一下Transformer7.为什么要用LN，不用BN8.着重拷打一个项目9.反问互联网大厂 #算法

1. 你的 Agent 系统Prompt 是怎么设计和迭代的？有没有做过 Prompt 自动优化？当用户提出不完整的请求时，如何补全用户意图的？2. 构建 Agent 的时候，遇到过哪些瓶颈？LangChain 的 memory 默认机制在多用户并发中怎么做隔离？你是如何保证线程安全的？3. 微调 Llama2 你是怎么选择训练样本的？清洗逻辑是什么？你有没有观察到哪些训练样本质量问题对模型行为有很大影响？举例说明。4. DPO相比 SFT，有哪些优劣？它在 Agent 任务上效果提升明显吗？你怎么构造偏好对？构造逻辑是自动的还是人工？5. 你说你服务部署在 vLLM 上，为何选择它？KV-c...