字节LLM大模型算法实习面经

1.针对简历上的实习提问。2.kl散度和交叉熵的关系3.LoRA介绍，和全参sft怎么选择？小模型的sft和大模型的LoRA效果对比会是怎么样的？sft数据集如何构建？4.介绍AUC，AUC表达的是什么？5.recall重要的场景下，如果recall很高，precision很低怎么办？6.precision和recall都是什么，不同场景下precision和recall如何关注？哪个更重要？7.手撕-实现shuffle函数。

1.项目baseline和最终效果2.你认为什么操作对准确率提升的贡献最大3.介绍reward fuction4.思维链怎么做的5.冷启动用了多少数据、数据分布怎么样6.为什么要用大模型做反思模块，不能用规则做吗7.Agent中的planner模块具体怎么做的8.用户不按照预期的输入使用怎么办？query改写怎么做9.Agent和workflow的区别10.图生图模型的微调数据是怎么构建的11.Hard case怎么构建12.全模态中的推理捷径是什么意思13.你的这个科研项目希望解决的具体业务问题是什么

1.项目介绍2.训练样本大概多少条3.为什么会想在重排做生成式4.如果是做生成式召回应该对模型结构怎么修改5.有考虑用别的强化学习的方法吗6.dpo 的公式是什么7. grpo 了解吗8.beamsearch 怎么做的9.大模型了解多少，强化学习了解什么10.手撕 transformer 并计算 flops 和内存开销📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.你们产品里真的用大模型了吗？怎么训的？从0开始还是微调？2.LoRA 是什么？它的权重是怎么初始化的？为什么有效？3.你们实验室做过哪些横向项目？有没有处理过文档目录结构解析？4.多模态场景下，怎么让模型理解图表（比如柱状图、表格）？5.RAG 你们怎么优化的？chunk size / overlap 怎么设？有没有加 rerank？6.SFT 阶段用了多少卡？训练时长多久？数据量级是多少？7.预训练 loss 用的什么？怎么评估模型效果？（我当时答不会…）8.有了解 Perplexity（PPL）吗？它和 loss 有什么关系？9.长文档 PDF 处理，你们用了哪些长上下文扩展技术？10.Vision Encoder 的 loss 怎么设计的？CLIP 之后有哪些新进展？11.手撕：接雨水（LeetCode 42）