对于清澈的大学生来说，跨越大半个中国到一个完全陌生的地方工作，多少有点慌。幸好同部门小姐姐人都超级温暖。为了入职方便，我提前到公司，是星期天。本以为大家都休息，想着要“自力更生”时，同部门的姐姐主动联系我，在公司接我，陪我入住，拖行李，带我熟悉周边环境，吃了好吃的糖水。入职前，姐姐们就开始关心我，会问我“有没有去吃饭呀，食堂今天的排骨好吃。”感觉并不是完全上下属，前后辈的关系，更像朋友和家人一样。 园区环境更不用说了，免费单人宿舍，干净宽敞，独卫，空调，热水器还有小阳台一应俱全。食堂超好吃，作为一个没在南方生活过的东北人，口味完全可以适应。 工作方面，现在岗位是我的梦岗，但疫情实习机会少，没接...

被挂最爽的一次本来昨晚想做笔试了，还好我有拖延症😄所有测评笔试ai面都做了才筛简历的公司都是沙壁😡

一段魔幻的面试经历10.29一面10.31二面一面只是问了项目和八股拷打，无算法二面面试官是一个集美，然后只聊了15分钟，项目只问了一个问题，就是你觉得项目的难点是什么，怎么解决的，问完后就说结束。同一天晚上hr面，聊家常15分钟后，发offer面试了这么多，最后发现，实习有没有offer很大程度看的是运气，在这一个星期我也在面试富途，富途一面和二面都是算法加八股拷打，结果即便答的很好，算法也都写出来但也没有后续。最终才发现运气大于实力

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...