这可能是目前 AI 面试中最拉开差距的一环。大部分求职者的简历上写着“通过优化 Prompt，提升了生成质量。”面试官往往会微微一笑，紧接着抛出一记灵魂暴击：“那你怎么定义‘质量提升’？你怎么用数据证明，你的 模型 跑得比昨天更好？”这个时候，如果你挠挠头回答：“我自己抽查了几条结果，感觉变好了……” 那基本就凉透了。正所谓乱花渐欲迷人眼，靠人工“抽盲盒”式的肉眼查验，很容易陷入“只看好案例（Cherry-picking）”的自欺欺人中。在真正的工程落地面前，这种“凭感觉”根本站不住脚。回答应该直接把 Eval（评估）体系拍在桌面上：“在修改任何一行核心逻辑或 Prompt 之前，我会构建一套...

不过还是挺开心的hhh

现在才学到苍穹外卖，会不会太晚了TvT，在想能不能找小厂刷刷实习经历，这简历可以试着投吗？有人能指点一下吗，谢谢大佬

1、项目里负责的边界是什么？哪些内容是亲手实现和验证的？2、如果要做一套可落地的 Agent 评测体系，整体怎么设计？评测一般要分离线和线上两层。离线评测解决“改动前后谁更好”，线上评测解决“真实用户下效果是否稳定”。离线侧我会先把样本按场景拆开，比如知识问答、工具调用、多轮追问、拒答场景、多语言场景、长文本场景，然后分别看回答正确率、工具调用成功率、检索命中率、拒答准确率和格式稳定性。线上侧看用户行为指标，比如首轮解决率、转人工率、二次追问率、平均耗时、token 成本和异常率。Agent 不能只看最终答案，通常要拆成三层指标：检索层、决策层、生成层。检索层看有没有召回正确证据，决策层看有没...