首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

刚才蚂蚁突然给我发邮件了，写的是这个ai团队招人，我点下面的链接进去一看，都是和算法，训练大模型相关的，最好要有顶会的论文，感觉和我经历不符凉凉

突然就收到了库洛的oc，很快的谈薪，很快的逼签，好像自己的去向突然就决定了，确实是自己很喜欢的方向，但当突然做决定的时候还是患得患失的。无法评判，选择无关绝对的好坏，只是在不同赛道里，偏向了更贴合自己的那一个。滴滴美团固然是不错的选择，但二次元领域的适配感，是自己更看重的。毕竟谁也没法预判未来，与其顾虑三五年后可能在互联网面对枯燥业务、深夜加班时的遗憾，不如遵从当下的心意——至少这份对领域的喜欢，是此刻最确定的东西。这种患得患失大概就是成长里的选择题后遗症吧。毕竟没有哪条路能提前看到终点，本就没有标准答案。但反过来想，能在年轻的时候选择一份“提起就会眼睛发亮”的工作，已经比很多在迷茫中打转的人幸运多了。就算以后真的会有遗憾，至少此刻的热情是真的，为热爱拼一次的勇气，也绝不会是白费的。最后祝大家都能签到理想的工作，爽拿offer！