最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...

还有这黑话吗，黑话也说不过ai了😭  

从一月中到现在，最大的感悟是累、其次是不要怀疑自己

中国交易与广告方向--客户端暑假实习没想到吧，居然还有2面实际上我也没想到1.threadlocal的实现原理，内存泄露问题2.thread local的key是什么value是什么3.threadlocal常见的使用场景4.阿里的ttl是如何解决threadlocal污染问题5.synchronized的作用，他的具体用途6.synchronized和内存屏障的区别7.synchronized的底层实现8.synchronized三种用法的区别9.java的内存区域10.Java代码内容储存在jvm的各个区域，打个比方：堆里面会放new出来的对象，数组元素11.final关键字的使用场景（我...