最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...

要说最遗憾的事情，莫过于没找个女朋友，谈场最后的校园恋爱。从小学到中学，不乏有过青春的萌动，小学三年级的时候，经常跟同学讨论哪个女同学漂亮，谁谁谁暗恋哪个人。我也是其中的一员，喜欢隔壁班的某某，还会记住她名字每个字在新华字典上的哪一页，甚至幻想以后的孩子叫什么名字。 上了中学后，中考高考就是终点线，考个好高中，上个好大学。做题考试培训班，仿佛一些学习之外的事都不重要了，衡水模式下，每天都是日复一日，老师也会经常强调不要早恋。即使如此，正处于青春期的大家多多少少会有点小心思，喜欢ta或者暗恋ta。当时的我倒是没再想着谈情说爱，只顾着玩了，玩到初三才醒悟，狂学了几个月也无济于事，只能上私立高中。高...