首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

27双非  一段小厂实习第一次面百度   （10-16内推投递）10.21  通过毕业2年学长内推  一面直接挂了    这个是第一次面大厂  紧张过度第二次面百度（9-15投递）10.27    一面过   面后2h邀约二面10.28    二面11.8      查看官网被挂害，说实话有点难受，第二次面百度，甚至都没有给我发感谢信，都是自己去看有没有挂，10-29  到  11-5 也有面试其他大厂，腾讯，字节，一面都挂了。最近一周投简历好像都没有音讯，感觉只能开年再找了有没有大佬 ，求内推，捞捞孩子吧

投了三四天，除了字节没人约面，求简历修改😇

过去这一年，像解一道漫长的动态规划。起点是刚入校时对代码的生疏，状态转移方程是每日图书馆、机房与在线评测系统之间的循环，而最终的最优解，是在蓝桥杯捧回那个沉甸甸的全国一等奖。它不只证明了我能坐稳冷板凳、攻克几百道算法题的毅力，更像一把钥匙，为我打开了大学集训队的大门，让我看见了一个更广阔、也更残酷的竞技世界。但奖牌的光芒，也照亮了前路的迷雾。当我开始准备暑假的ACM集训，并思考明年此时该继续冲刺更高竞赛荣誉，还是转身投入企业实习时，我意识到，自己站上了一个关键的十字路口。这一年，我学会了如何让代码在判题系统里拿到满分，却尚未学会如何让技能在真实的工程世界里产生价值；我精通了各种时空复杂度的优化...