首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

最后再看下工位，就走吧

【秋招面试录用通知】亲爱的宝贝：恭喜你！经过家庭管理层慎重且愉快的讨论，我们一致认为，你就是“温暖老家集团”一直在寻找的宝贵人才。现正式聘任你担任“全职开心小宝贝”一职。岗位职责：主要负责保持心情愉悦，做让自己开心的事。偶尔协助完成“品尝妈妈新菜式”、“分享生活趣闻”等辅助性工作。薪酬福利：月度基本薪资：快乐基金5000元（用于购置一切能让你嘴角上扬的小物件）。给你外卖一份香软可口的小蛋糕，想吃随时兑现。附赠7x24小时全天候拥抱服务与无条件精神支持。我们知道，外面的世界有时会刮风下雨，但请记住，家永远是你的晴天补给站。这份工作没有KPI，无需绩效考核，你唯一的任务就是健康、快乐。请凭此通知，随时到妈妈这里来报到并领取你的第一份甜蜜小蛋糕！永远爱你的妈妈！