今年秋招真的开启早的离谱——很多公司7月就悄悄开岗了，8月直接进入高潮，等到了9月，不少岗位其实已经招得差不多了。我身边好多同学，因为暑假实习太忙、没时间准备，或者总觉得自己“还没准备好”，拖到9月中旬才开始投简历。结果呢？投完之后要么只收到一堆笔试和测评链接，做完就石沉大海；没消息了。今年真是金八银九铜十铁十一。后来才明白：不是你不够好，可能人家早就招满了或者，9月的时候，招聘系统里可能已经堆了几千份简历，根本筛不过来，更别说安排面试了。所以真的别再等完全准备好才投！时间点一到，岗位一开，一周之内投！ 很多公司从你投递到真正面试，中间还要走流程：做测评、笔试、HR初筛……这一套下来，少说也得...

一段实习经历+技术栈都符合，连实习岗位的offer都拿不到😭

让你卡学历，卡科班，卡实习经历，现在老实了吧不必谈春招，现在补录已经不面了（奥特飞踢）

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...