第 40 题:Agent 的幻觉(Hallucination)及如何检测和缓解
第 40 题:Agent 的幻觉(Hallucination)及如何检测和缓解
题目
什么是 Agent 的幻觉(Hallucination)?如何检测和缓解?
一、什么是 Agent 的幻觉?
幻觉(Hallucination) 指模型生成与事实不符、或无法由当前输入/工具结果支撑的内容,却以肯定语气呈现。在 Agent 场景下包括:
- 事实幻觉:编造不存在的数据、事件、API 结果或工具输出。
- 工具幻觉:声称调用了某工具或得到某结果,但实际未调用或结果不同;或编造不存在的工具与参数。
- 推理幻觉:推理链中的逻辑错误、因果颠倒、或“想当然”的步骤。
- 身份/能力幻觉:声称具备某能力或权限而实际没有(如“我已写入数据库”实际未执行)。
Agent 因结合了多步推理与工具调用,幻觉可能出现在“中间推理、工具选择与参数、对工具结果的解读、最终回答”任一环节,且会沿轨迹传播。
二、检测方式
- 与工具结果对齐:对模型引用的“工具输出”做校验——是否与真实 API/工具返回一致;若模型未调用却声称有结果,则判为工具幻觉。
- 事实核查:对最终答案中的事实性声称,用检索、知识库或另一模型做验证;对关键数字、实体、日期做一致性检查。
剩余60%内容,订阅专栏后可继续查看/也可单篇购买
Ai Agent:面试300问 文章被收录于专栏
《AI Agent 300 问》专为备战 AI Agent 相关岗位的求职者打造,适配校招、社招全场景,覆盖算法研发、产品、解决方案等全岗位。专栏汇总 300 道大厂高频面试真题,全维度覆盖提示工程、智能体规划推理、记忆机制、工具调用、多智能体协作、框架落地、行业应用等核心领域,拆解考点底层逻辑,分享一线实战经验,助你一站式通关高薪面试。
