成都诺比侃

1、项目里负责的边界是什么？哪些内容是亲手实现和验证的？2、如果要做一套可落地的 Agent 评测体系，整体怎么设计？评测一般要分离线和线上两层。离线评测解决“改动前后谁更好”，线上评测解决“真实用户下效果是否稳定”。离线侧我会先把样本按场景拆开，比如知识问答、工具调用、多轮追问、拒答场景、多语言场景、长文本场景，然后分别看回答正确率、工具调用成功率、检索命中率、拒答准确率和格式稳定性。线上侧看用户行为指标，比如首轮解决率、转人工率、二次追问率、平均耗时、token 成本和异常率。Agent 不能只看最终答案，通常要拆成三层指标：检索层、决策层、生成层。检索层看有没有召回正确证据，决策层看有没...

1. Agent 工具调用你知道怎么训练吗？训练集应该包含哪些？怎么得到训练数据集？如果只是让模型“知道有工具”，那只需要在 SFT 里教会它工具名和参数格式；但如果想让它真的会用工具，训练集必须覆盖完整决策链路。至少要有三类样本：一类是该调用工具的，一类是不该调用工具的，还有一类是要调用多个工具且有依赖关系的。否则模型很容易学成“逢问题必调用”。训练数据来源一般有几种。最理想的是业务日志里已有高质量人工操作轨迹，把用户问题、检索条件、调用参数、返回结果和最终回复串起来。没有现成轨迹时，就要靠规则模板、专家构造、模型自蒸馏和人工校验混合生成。真正难的地方不在造正样本，而在构造反例，比如参数缺失...