影石测试

最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...

RT，不是很好意思直接问HR

这种是面评脏了吗 被冻结了吗😭 该怎么自救呀

先说说本人情况，实习快两个月了，目前实习节奏和强度始可，现在是在做新需求，我参与的也比较多，从前辈身上也能学非常多东东西，mt和组员都非常好非常包容，昨天下班后还一起聚餐了，目前整体的团队氛围我很喜欢。前两周mt还主动和我1对1谈话，觉得我最近做的不错，这两周结束后看表现会去跟N+2求转正资格，爽之爽之。但是现在实习话感觉人班味越来越重了,下班后就想赖床上不想学新东西，面经也很少看，现在有接到面试全推到端午后了，平常根本就没精力去备面试，在这边实习后心态也有很大的变化，对学校里的课程的重视程度也在不断降低，越到后面越在思考学校的意义是不是就在于有个学位证，有点话密了。现在也挺迷茫的吧，想听听牛...