第 32 题：工具学习（Tool Learning）与如何评估 Agent 的工具使用能力
第 32 题：工具学习（Tool Learning）与如何评估 Agent 的工具使用能力
题目
什么是工具学习（Tool Learning）？如何评估 Agent 的工具使用能力？
一、什么是工具学习？
工具学习（Tool Learning） 指让模型学会在何时选何种工具、如何填参、如何根据结果再决策。包括：
- 工具选择：给定任务与工具列表，正确选出要调用的工具（可能多个、有顺序）。
- 参数生成：根据工具 schema 与任务，生成合法、语义正确的参数（如查询词、API 参数）。
- 结果利用：根据工具返回（含错误、空结果）决定下一步——继续调用、换工具、或给出最终答案。
- 多步编排：在多步任务中正确编排工具调用顺序与依赖。
实现路径包括：纯 prompt（zero/few-shot）、微调（用 (任务, 工具调用轨迹) 数据）、RL（以任务成功为 reward 优化工具选择与调用）、以及 API / 工具描述增强（如 Gorilla、APIBench 等提供高质量 API 文档与示例）。
二、评估维度
- 工具选择准确率：在标注了“应调用工具”的数据上，模型是否选对工具（或工具序列）。
- 参数正确率：参数是否合法（符合 schema）、是否与任务匹配（如查询词是否相关）。
剩余60%内容，订阅专栏后可继续查看/也可单篇购买
Ai Agent：面试300问 文章被收录于专栏
《AI Agent 300 问》专为备战 AI Agent 相关岗位的求职者打造，适配校招、社招全场景，覆盖算法研发、产品、解决方案等全岗位。专栏汇总 300 道大厂高频面试真题，全维度覆盖提示工程、智能体规划推理、记忆机制、工具调用、多智能体协作、框架落地、行业应用等核心领域，拆解考点底层逻辑，分享一线实战经验，助你一站式通关高薪面试。
查看11道真题和解析