最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...

从一月中到现在，最大的感悟是累、其次是不要怀疑自己

兄弟们，我要去嘛？？

📍面试公司：爱奇艺🕐面试时间：5.22💻面试岗位：高级研发工程师❓面试问题：个人介绍刚刚毕业不到一年看机会的原因Kafka的WAL是怎么做的？内部自研的相关文件吗？DSP平台和广告主对接是RTA/RTB？具体什么形式竞价主流程的CompletableFuture是如何编排的？对应的这个线程池是怎么配置的服务的QPS，部署的实例情况项目相关问题令牌桶的限流算法令牌桶算法在流量低谷的时候会积压令牌，这时候突然来流量你们怎么处理的？不会过大有影响吗MySQL考察，新建一个索引，index：create_time，id，channel，然后sql是explain select * from te...