字节豆包大模型算法一面-攒人品中

发点面经攒攒人品～1. 数据是怎么合成的，相对于现在主流数据合成有何优化；合成数据的标签是怎么打的，有什么优化的地方2. 数据混合有哪些方法，多样性有哪些角度，怎么保证多样性的同时去除重复数据，讲一下了解的聚类去重，多样性怎么提升3. 怎么清理高质量sft数据，有哪些纬度4. 预训练数据下采样，怎么保证多样性5. 小语种数据怎么合成，方法不限但要控制成本6. 为什么lora相对全参占用显存更少code：高精度开n次根号

1. 介绍一下你的实习、项目和论文，重点讲一个你真正做深了的点2. 介绍一个你最熟悉的大模型架构，并说清楚它在注意力结构、训练策略和推理优化上的特点可以拿 Transformer 系列来答。核心由 Embedding、Multi-Head Attention、FFN、残差连接和 LayerNorm 组成。注意力结构负责建模 token 间依赖，训练上一般采用大规模自监督预训练，比如 next token prediction，然后再做 SFT、偏好对齐。推理优化上会做 KV Cache、FlashAttention、Continuous Batching、量化和张量并行。如果你想答得更像大模型...

继续来分享下之前的面经~欢迎友好讨论，信息共享1. 项目拷打2.实习拷打3. 数据收集和处理，使用Grpah-Rag的优势，本项目中Grpah的作用。4. 训练数据的构建细节5. 遇到数据内容冲突时应该如何处理？6. Rec、MRR、Acc等常见检索指标。7. 除了LLM as a Judge，还有什么方法评测回答的效果？8. 当不同的专家对同一回答评分方差很大时应该怎么解决？9. 在校内的科研/实践经历。10. 常见的Agent和Memory管理的范式。11. 遇到的印象最深/工作量最多的实际工程编码问题。

这份题库不是随便凑出来的 100 道题，而是从大量面经和题目里 筛出来的高频题。我整理了上百套校招、实习、校招的大模型相关面试题，又结合公开平台上反复出现的问题，把那些 出现次数最多、覆盖岗位最广、面试最容易问到 的内容统一收拢，最后形成这套 大模型常考面试题100道76. 训练和推理为什么要区分开看？答：因为两者关注的目标完全不一样。训练更关注怎么把模型能力学出来，重点在数据、loss、优化器、并行训练和收敛稳定性；推理更关注怎么把模型高效跑起来，重点在延迟、吞吐、显存、并发和成本。很多技术在训练阶段成立，不代表在线推理就划算。所以做大模型不能只会训练或者只会部署，至少要知道这两套问题是分开...