首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

女朋友签约了滴滴我签约了字节明年就可以开始北漂生活啦

大三，想找实习，有没有好心人帮我看看简历对自己个人水平没什么自信，搞科研基本都靠vibe coding，最近才开始刷力扣，有点害怕被hr拷问，在一个做cv的实验室里干了半年多，共一的论文基本上是学长的idea，我负责把学长口头说的idea实现在代码上（绝大部分代码是我实现的），其他的经历只能说尝试过，想找个算法或者开发岗，第一段实习以积累经验为主，由于还没有决定以后做什么，所以希望尝试更多的方向也可以给我一些建议，比如需要准备什么，推荐背什么八股之类，谢谢大家了！