继续来分享下之前的面经~欢迎友好讨论，信息共享1. Transformer中Attention的本质是什么？你能从数学角度简要解释一下吗？2. 在Agent多轮对话任务中，你觉得Attention的局限性体现在哪些方面？3. 简要介绍一下SFT的核心流程，以及数据集的构建策略，SFT之后常见的Post-Training还有哪些？它们之间的目的有何区别？4. 什么是RAG，它是怎么提升生成质量的？与传统检索＋模型生成的流程有何不同？如何评估一个RAG系统是否work的？5. PPO和DPO在大模型对齐中的主要区别是什么？DPO训练通常有哪些注意事项？用过GRPO么？6. 项目里的Modular Agent，你能讲讲它是如何实现多步规划的吗？7. 项目提到了多个工具调用链路，调度策略是如何设计的？是否有异常fallback策略？8. Agent评估体系包括哪些维度？如何衡量planning能力 vs hallucination rate？9. 项目里微调Qwen，选择的训练阶段和Loss函数是如何决定的？10. Prompt自动推荐模块用了哪些优化策略？有没有尝试过Prompt压缩或embedding表示的方式？11. 场景题：假如一个Agent 推理链路包含3个工具+高频请求，系统整体延迟较高，你会如何优化？12. 代码：岛屿数量

bg 杭电研 一段外包实习，感觉产出很简单，都不知道怎么包装。hot100二刷ing目前正在学习马哥rag项目后面加上这个项目可以试试投中大厂日常嘛简历里的点评准备换成12306引流

1.实习项目拷打2.大文本说明书常用的切分方式有哪些，实习的项目中采用了哪种切分方式?3.实习的项目中，文本切分后采用什么方式存储，图片和PDF等异构文档是如何处理的?4.实习的项目中，文本检索时为何选择RAG模型做初排而非重排的方式?5.实习的项目是否已内部上线，每日访问量大概是多少?6.对于系统中大量重复或相似的用户问题，有哪些优化方式可以节约资源?若要实现该优化，具体如何拆解流程图，如何抽取共性问题并汇总答案?7.标准RAG系统包含哪些模块，系统能力如何提供，用户查询的处理流程是怎样的?8.结合实验经验，效果较好的大模型Prompt应包含哪些模块，每个部分该写什么内容?9.若针对实习的项目相关任务写的Prompt结果无法很好遵循要求，有哪些优化策略?手撕3选2:第一个最大岛屿，第二个是二维数组里的最大正方体，最后一个是旋转数组搜索

面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.Agent的架构设计2.RAG的检索如何实现3.预训练数据清洗方法4.Group Query Attention的作用5.手撕：实现LRU Cache6.MoE架构的专家路由是对每个token路由还是对每个序列路由7.KV Cache的优化方法