最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...

沟通了400多份，没什么人理，有一个还是还这种😭😭😭

开会的时候，你负责的一个数据还没有完全获取到，这时候有人问了一句：“这个确认稳定吗？”你不想把场面弄得太紧张，于是随口回答：“应该没问题。”当时觉得，自己在前面加上了“应该”两个字，属于给自己留了余地了，真聪明但实际上不是这样，别人记住的，以及留在会议纪要材料里的，应该不是“应该”，而是“没问题”等后面数据跑出来，或者项目真的出了问题了，会议纪要里的这句话就会被标黄截图发出来“你当时不是说没问题吗？”本来是不确定的，反而成了一句承诺那，这题怎么解？假如领导在场，不管这个问题是不是他提的，既然被人抛出来，就不能不接不能说“没有把握”，也不能直接说死“能”或者“不能”可以先给一个基准时间，比如：“...