红包收到手软

最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...

目标小厂

可能是我见识太少了

多个智能体协作时，整个智能体协作的链路就被称作为 TraceAgent 项目的测试和评估，一般不能只看其中某个模型单次回答好不好，而是要按 Trace 来评估单元测试：把 Prompt、工具调用、参数解析这些关键模块拆开单独测。比如说模型能否选择正确的工具？Agent 调工具时，是否按照工具提前定义好的结构来传参？异常出现时有没有兜底？端到端测试：重点看 Agent 在多轮任务里能不能稳定完成目标。这一步需要反复调试，因为 Agent 的问题往往不是某一步错，而是工作流、工具调用、观察结果、继续决策这一整条链路中某部分出了问题离线评测集：把真实业务中的典型问题、边界问题、失败案例沉淀成 ben...