准备二战腾讯

产品岗真实工作体会~ 我所在的产品线整体风格不卷，加班不严重，周末大家都安排自己的生活，可以安心放下手机，也让我彻底放下“不秒回羞耻症” 阿里云团队规模太大，分工很细，人也很多，想搞清楚一件事情要对接好多好多人，要熟悉的流程也贼多，这个过程的确有些累，但我估计只要在大厂都会这样 感觉这边做事情自由度更高，换句话说，老板只要结果，过程怎么做自己想办法去 凡事凡人都爱讲价值。初次对接的其他部门的同事，也会直接问我，“你对业务的价值是什么” 目前线上线下接触到的同事估计有四五十个，99%交流都顺畅，有话都直说 这一个月约了不少coffee talk，即使没有直接的工作关联，大家还都挺热心解答我各种疑...

牛油们，我的简历是有什么问题吗，为什么我投了快300份一个面试都没有，全部要完简历就拒绝或者没下文了😭鼠鼠要玉玉了，都马上寒假了

没见过这么傻杯的人，我没回就发嘲讽，压抑坏了是吧

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...