题解 | #图片整理#

1. 你做过的 Agent 项目里，Agent 和普通问答系统最大的区别是什么？普通问答系统更多是输入一个问题，模型生成一个回答，核心在回答质量。Agent 更强调任务闭环，不只是回答，还要规划步骤、调用工具、拿到结果、根据结果继续下一步，最后把任务完成。也就是说，问答系统重点是“说”，Agent 重点是“做”。如果项目里接了数据库查询、知识库检索、接口调用、审批流或者脚本执行，那基本就已经不是单纯的聊天系统了。2. 你怎么理解 Agent 的核心组成？一个完整的 Agent 一般包括模型、Prompt、工具、记忆、规划、执行控制这几部分。模型负责理解和推理，Prompt 负责约束行为，工具负...

面试里如果被问到“为什么Attention要做成多头，而不是单头就够了”，很多人会先回答一句：“因为多个头可以关注不同子空间的信息。”这个方向并没有错，因为我最一开始学算法的时候，也思考过这个问题，但那会儿搜到的也就是这些原理罢了，但问题在于，这个说法太抽象了。面试官如果继续追问一句“什么叫不同子空间？到底不同在哪”，很多人就接不下去了，反正我到毕业写完论文了都没想过这个点。要把这道题答好，其实需要先回答一个更本质的问题：如果只有一个头，究竟会出什么问题？把这个问题讲透，多头注意力的问题也就解答了。（我的回答建议在文末）一、先别急着讲多头，先看单头的瓶颈到底是什么先从单头注意力开始。假设输入序...