最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...

该咋投递啊还，boss上几乎没人理，简历咋能优化一下。

幻觉是怎么产生的？工具幻觉本质上是“模型自由发挥空间太大”，从另一个维度来看，就是你没有告诉他应该怎么做，给他规定怎么做我的做法收缩并明确限定使用工具：所有工具先注册成白名单，让Agent 只能从注册过的 tool 列表里去选择，并且每一个工具都有给模型明确的 JSON Schema，比如必填字段、枚举值、类型、参数范围。之前我做工具调用链路时，会在真正执行前先做一次参数校验，如果缺某个字段、字段名写错、类型不对就直接拦截，不让它进入真实 API工具调用前还会做一层业务校验。通过schema校验仅仅是模型生成的参数“可以用”，并不是说参数一定正确，同样还需要对于模型调用工具时机进行检查。比如模...