美团大模型方向算法实习面经

自我感觉答的不好，语言组织能力差，但面试官说还可以项目拷打+八股1.BM25是怎么设计的2.讲讲Lora3.整个训练花了多长时间4.数据集怎么构建的？5.了解强化学习吗？6.rag问答的整个流程是怎么样的7.讲讲训练的损失函数有哪些反问1.我表现如何2.公司主营业务和落地产品3.公司人事架构4.是否有成熟的技术文档刚面完就oc，体验感很好，不过200人的ai公司算小厂吗？

1. 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？这个问题不能只看模型参数量，还得把训练时真正占显存的几部分一起算进去。全参数微调时，显存通常会被下面这些东西吃掉：模型参数本身梯度优化器状态前向传播保存的激活值CUDA 运行时和框架缓存如果用的是 AdamW 这类优化器，除了参数之外，还要额外维护一阶矩和二阶矩，所以训练显存会明显高于推理显存。一个比较粗糙但实用的经验是：全参数微调的显存，往往是模型权重显存的 6 到 12 倍左右，具体还得看序列长度、batch size、是否开 gradient checkpointing、是否做 ZeRO/FSDP 分片。拿 7B 模型举例，F...

欢迎友好讨论，信息共享1.实习拷打2.做 grpo 遇到熵崩没有？你是怎么理解的？3.大模型容易 reward hacking，如何解决？4.VLLM prefix cache实现过吗？5.如何理解 dspo 这几个算法的创新？6.长上下文压缩有哪些方法？7.MOE 的 expert parallel 如何做的？8.手撕： transformers encoder

发点面经攒攒人品1、你在线上或离线训练时，过拟合怎么处理？直接说你最有效的三个方法和拿到的收益。2、把 BN 讲透：原理是什么；训练期和推理期用的统计量有何不同；跟 LN、GN 比，分别什么时候用、怎么取舍。3、分类和回归你最常用哪些损失？你更偏好哪几个，为什么（从鲁棒性、梯度、数值稳定性上谈）。4、L1 和 L2 正则你怎么选？它们各自的效果与风险是什么，工程里你是怎么权衡的。5、二元和多分类的交叉熵你怎么写？在工程里你怎么做数值稳定实现。6、AUC 到底在统计上代表什么？你怎么计算它，在线上业务里你如何解释“这次 AUC 提升”的含义。7、你做 CTR/CVR/CTCVR 联合建模时，ESMM/ESMM2 是怎么推导与工程落地的？线上到底带来了什么收益。8、Transformer 里因果注意力的 Q/K/V 各从哪来？Mask 具体怎么实现。9、Scaled Dot‑Product Attention 为啥要除以 √dk？如果不除会出什么数值或训练问题。10、把 Transformer / Decoder‑only 的整体结构过一遍，各个组件分别在干什么，有哪些常见变体。11、位置编码这条线你怎么选：绝对 PE、相对 PE、RoPE 各自的思路、优势和局限，结合你的项目谈取舍。12、长上下文怎么搞？Rope scaling、Position Interpolation、KV Cache 管理、检索增强、窗口注意力，你的实战方案是什么。13、KV Cache 在训练和推理中的差异是什么？它的加速价值有多大，吞吐与延迟你是如何权衡的，vLLM/paged‑attention 需要注意什么。14、PEFT 方案里（LoRA/QLoRA/Prefix/Prompt‑Tuning/Adapter）你怎么选？说说稳定训练的经验。15、SFT 和对齐（RLHF/DPO/IPO/PPO）原理差在哪？在不同数据与资源条件下，你怎么选路线。16、RAG 系统你怎么设计？切分、索引、召回/重排、压缩/融合、兜底策略怎么串。17、提示词工程你是怎么搞的？System/角色/约束/分步指令怎么写，如何防越狱