字节大模型算法实习一面面经

给我面没招了，发点面经攒攒人品～1.LLM 常用的结构是什么？2.说一下 Transformer 的整体结构3.目前主流大模型最常用的位置编码是什么？4.［代码题］写一下多头注意力机制的数学公式A代码／算法实现题，需现场手写5. 公式中为什么要除以√ d _ k ？其对梯度消失或梯度爆炸有什么影响？6. 在 Transformer 的 Encoder 和 Decoder 中，哪些部分是可以并行计算的，哪些不可以？7. 除了 LoRA ，你还了解哪些微调方法？8. 大模型训练通常使用什么损失函数9. 在机器学习基础中，二分类问题、多分类问题以及回归问题分别使用什么损失函数？10. 你了解哪些优化算法11. 模型训练中出现过拟合的常用解决方案有哪些？12. Dropout 在训练阶段和预测阶段的处理方式是否一致？为什么要这样做？13. 大模型中的"复读机问题"重复生成是什么原因导致的？如何从解码策略或训练层面解决？14. 幻觉问题产生的原因是什么？目前常用的工程解决方案有哪些？

1.问实习2. 项目拷打3. LLM 落地部署有什么好用的 trick？答案：现在 LLM 落地里，很多时候改模型不如先改数据和链路。第一步是把线上 badcase 分桶，区分是检索错、提示词错、模型能力不足、工具返回错还是数据源脏；第二步是做数据闭环，把高频错误变成 SFT、偏好对、规则样本或者评测集；第三步是做推理侧优化，比如 KV Cache、continuous batching、量化、prefix cache 和路由小模型。比较实用的 trick 是不要盲目微调整个模型。很多业务问题是知识更新、格式不稳、证据引用错，这些更适合通过 RAG、结构化输出、后校验和数据清洗解决。只有当错误...

给我面没招了，发点面经攒攒人品～1.实习拷打2.context engineering的具体实现3.mutiagent协作过程中的并行串行?还有如何保证结果的一致性4.在agent不断对context修正的过程中特别是图的这种情况如果保证图片一致性?5.agentrouter思路6.你对agent理解 mutiagent sys的理解

这个面经是群里 小伙伴分享的 社招, 2年的工作经验 双非本9硕 将近40分钟都在问项目细节 项目这里我全部砍掉了1. 自我介绍2. 大模型在推理时通常分哪两个阶段，每个阶段关注点是什么一般分成 prefill 和 decode 两个阶段。prefill 阶段主要是把输入 prompt 一次性编码进去，重点看吞吐、并行效率和长序列的计算开销；decode 阶段是逐 token 生成，重点看单步延迟、KV Cache 复用和 batch 调度效率。很多线上推理慢，不是模型本身慢，而是 prefill 太重或者 decode 阶段调度策略不合理。理解这两个阶段，才能知道为什么有些优化只对长输入有效...