诺瓦星云测评

背景概述：为什么要写这个呢？虽然现在大模型很火，但对于我们工程同学来说，把大模型当一个黑盒用就好了。一开始我也是这么认为的。直到我在小红书做到了一个需求在小红书的时候有一个需求是优化组内一个 agent 项目的响应和结果优化，这个 agent 是一个复杂的商业助手，并不是说技术很难，但要分析的广告业务很复杂，有上千个指标，好几种场景，prompt非常长，如果输出的效果不好，是没有人愿意用的。用了很多优化手段，比如并发查数据等等。有一天这个项目的正职同学和我说，他和算法那边的同学交流，说可以把我们动态拼到 System prompt 的指标数据拼到用户的 query 里面，这样就可以利用模型的 ...