中信银行大数据中心

1. 自我介绍2. 介绍你的实习项目，你做了哪些事情以及你的思考3. 升级之后 tool 调用准确率提升了多少，怎么衡量答案：tool 调用准确率不能只看模型有没有调用工具，而要看调用的工具是否正确、参数是否正确、调用顺序是否正确、结果是否被正确使用。我们会把一次工具调用拆成几个指标：工具选择准确率、参数填充准确率、无效调用率、重复调用率、最终任务成功率。比如升级前模型经常把“查询保单责任”和“查询历史理赔”混淆，或者漏传 policyId。后来通过工具分域、意图路由、参数 schema 校验和少量高质量样例，工具选择准确率从大概 82% 提升到 92% 左右，关键参数完整率从 88% 提升到...