学习记录

从研一开始，因为导师项目的原因，就经常去电网、科研院之类的单位开会、答辩；研二到研三，又因为项目，在某个军工研究所里驻场了一年多；毕业后入职了一家央企，到现在入职快要一年了，在央国企待的这些时间里，会有一个很大的感悟：人得越“尖酸”，日子往往过得越舒坦。一、为什么会变尖酸：这个环境本身就是个酸缸不知道其他在体制内或者央国企的朋友有没有同样的感受？刚入职那会儿，大家都想当个好好先生，说话客客气气，凡事积极配合，谁找你帮个忙都乐乐呵呵接下。但很快你就会发现，在一个本身就充斥着潜台词、冗长流程和低价值消耗的环境里，你越是温和、越想保持“正常”，反而越容易被反噬。有几个很典型的现象，很多人进来之前完全...

在学校工作室里面的工位

最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...