问牛友们个问题

最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...

github原来还有挂人的作用搞大模型真是能狠赚笔xxx在coding补课：一个普通的大厂前端实习，可以被包装成 AI Infra；一个并不算核心的工作内容，可以被描述成“关键项目负责人”；一个算不上核心的开源贡献，可以被渲染成项目核心 Maintainer网络上很多博主借助AI包装自己，卖课割韭菜的一堆，大家还是保持理智，有钱不如给AI