Agent 面试题：Multi-Agent 项目怎么进行测试与评估？
多个智能体协作时，整个智能体协作的链路就被称作为 Trace
Agent 项目的测试和评估，一般不能只看其中某个模型单次回答好不好，而是要按 Trace 来评估
- 单元测试：把 Prompt、工具调用、参数解析这些关键模块拆开单独测。比如说模型能否选择正确的工具？Agent 调工具时，是否按照工具提前定义好的结构来传参？异常出现时有没有兜底？
- 端到端测试：重点看 Agent 在多轮任务里能不能稳定完成目标。这一步需要反复调试，因为 Agent 的问题往往不是某一步错，而是工作流、工具调用、观察结果、继续决策这一整条链路中某部分出了问题
- 离线评测集：把真实业务中的典型问题、边界问题、失败案例沉淀成 benchmark，每次改 Prompt、模型、工具或流程后，都要跑一遍回归测试，看成功率、错误率、准召率、成本、耗时有没有变化
- 人工标注对齐：Multi-Agent 大部分情况下被提出是为了模拟人类工作流，多为主观任务，不能完全靠自动指标。一般会让人工按照评分标准标注，比如任务是否完成、答案是否准确、是否违规、用户体验是否好，再用这些结果校准评测规则
- 线上评估：上线时不会直接全量发布，而是通过灰度或 A/B 测试观察真实效果，重点监控任务成功率、工具调用成功率、用户满意度
so，Agent 测评要覆盖 一整条链路上的各个模块，并进行人工评审、线上监控和版本回归。核心目标是证明它在真实业务场景下稳定、可控、可回滚
公司里的业务一般会用LangSmith，但是企业版需要统一采购，而且价格高。前两天在做数字人外呼的项目，当前感觉不错的开源评测是Phoenix：https://github.com/arize-ai/phoenix，Trace调试、数据集搭建、提示版本管理等功能也都有，可以试试～
