字节8.21二面凉经

发一下问题给大家参考，攒攒人品！1.Transformer中Attention的本质是什么？你能从数学角度简要解释一下吗？2.在Agent多轮对话任务中，你觉得Attention的局限性体现在哪些方面？3.简要介绍一下SFT的核心流程，以及数据集的构建策略，SFT之后常见的Post-Training还有哪些？它们之间的目的有何区别？4.什么是RAG，它是怎么提升生成质量的？与传统检索＋模型生成的流程有何不同？如何评估一个RAG系统是否work的？5.PPO和DPO在大模型对齐中的主要区别是什么？DPO训练通常有哪些注意事项？用过GRPO么？6.项目里的Modular Agent，你能讲讲它是如何实现多步规划的吗？7.项目提到了多个工具调用链路，调度策略是如何设计的？是否有异常fallback策略？8.Agent评估体系包括哪些维度？如何衡量planning能力 vs hallucination rate？9.项目里微调Qwen，选择的训练阶段和Loss函数是如何决定的？10.Prompt自动推荐模块用了哪些优化策略？有没有尝试过Prompt压缩或embedding表示的方式？11.场景题：假如一个Agent 推理链路包含3个工具+高频请求，系统整体延迟较高，你会如何优化？12.代码：岛屿数量

1. 场景题: 用户上传好几篇论文，AI能够精准总结并且能输出对比表格，怎么让Qwen具有这样的能力，全流程是什么？2. 微调的数据集哪里来的？数据怎么处理的？3. 会不会Linux4. 如何评估数据集的质量

继续来分享下之前的面经~欢迎友好讨论，信息共享1.怎么优化显存？2.transformer中的注意力机制、为什么用softmax、为什么用点积：余弦相似度不行吗？3.PT SFT RL的关系？可以互相替代吗？4.batch size调整过吗？lr有调整过吗？两者需要一起调整吗？5.LoRA原理？数学原理？6.文档去重？手撕代码（一道浅拷贝，一道hot100中等题）

攒攒人品！有面试过同岗的朋友欢迎评论区交流1.lora微调原理2.prompt 微调3.P tuning4.强化学习 ppo grpo5.Deepseek r1 训练四个阶段6.Encoder only decoder only 区别7.BERT的结构