首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

#boss直聘##奇葩瞬间##秋招#

他也是实习生，与前端同事对接，他给出对于这个问题的想法，前端就只回了一个“？”，或者跟她说修改哪里就只回一个“1”，跟我这个实习同事交流不超过4个字，那个前端也是一个二十三四岁的感觉，笑死了

一面 35min经典自我介绍。长达25min的项目问题。（我PDF简历上贴了演示链接，但是面试官说打不开？？？）一个向量绕一个点怎么旋转？（这里我说我不会图形学，所以跳过了）那你了解点积和叉积吗，简单说说看看？应用场景？了解协程吗？协程是异步还是同步？项目里面有用到协程吗？你项目里面用到了接口吗？一个逻辑题：斗地主中的“飞机”怎么判断？你怎么设计数据结构来解决这个问题？那假设现在是有“癞子”的情况呢？（然后我BalaBala讲了一堆，看面试官最后的说法，大概说对了）。反问环节。请问贵公司对于鱼苗夏令营是一个怎么样的安排，参加夏令营的同学们会学习到什么知识？听说贵公司不止在研保卫萝卜，请问还有哪...