首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

今天起因是11.1我投了深圳一个岗位，今天中午收到面试通知，我就和我一个舍友说，我之前秋招投递的时候也经常和同学分享投递情况结果他直接阴阳我是学人精。说他去投什么我就投什么。我昨天才知道他投了这个岗位，想和他说一下岗位情况什么的。唉，结果被骂一顿，我实在是不懂。鼠鼠我太委屈了

给我气笑了

韶音科技 可靠性工程师 面经HR面 7.1 （20-30min）HR很和善，问的问题不难回答主要是针对学习成绩、高考排名和所学科目情况针对项目情况也有一些基本的了解随后是一些生活兴趣方面的问题反问总的来说难度不大技术面 7.29 （30min左右）技术面很专业 详细问了项目内容是连续性的追问 针对整个项目框架项目具体细节然后针对某一个板块从你的思路开始深挖包括理论、实践以及解决方案，有一定难度建议多巩固理论知识且追问节奏较快，有压力反问环节综合面 8.5 （30min）是一位女主管 感觉水平很高问题都很有针对性，也是深挖项目感觉她比较追求高效率也可能是我太啰嗦了，建议言简意赅有重点的回答询问方...