SOS

最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...

绷不住了

今天早高峰10号线，人挤人，我好不容易站稳，余光扫到旁边座位上有个穿校服戴红领巾的小男孩，正低头盯着iPad。我以为他在看动画片，好奇瞟了一眼——好家伙，在刷leetcode。我人都傻了。我小学五年级还在玩赛尔号，人家已经在地铁上刷题了。让我想起来现在也有很多机构推出面向小孩的人工智能课、AI使用课...现在连小孩都这么卷了吗？

之前遇到的HR除了已读不回就是投了没消息被锁流程，今天头一次遇到这样的真是让我眼前一亮，感觉心情很好