首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

最近找了个北京实习，和爸爸说要去北京实习，租房寻求一些资金支持，结果没想到他对我说：你去什么北京？小姑娘不要跑远地方，毕了业回家找个差不多的工作就得了..... 我真没想到这是我爸能对我说的话..... 好寒心非常的寒心😭主包决定找朋友先借钱了，这个家我真的是不想回😭

为什么约不到面

个人总结 近几天接连面了好几家中小厂，我整理了一下面试遇到的问题，以及自己下一步的学习计划和对中小厂面试的一些看法。文末我附上了近期调试 Gemini 整理面试内容文字文稿形成问题记录和回答的 propmt，愿能帮助到有需要的同学。 周四面了蔚来软件测试后台开发，有点像KPI面，一上来就陆续给了三道算法题。自己这边也出了点小问题。面试过程中没有注意挑个安静的地方，旁边的教室一直搁那上微积分，非常嘈杂。面试环境这个问题在后续暑期和秋招中务必要解决之，否则会极大影响问答过程和思考状态。此外分别面了北京地区的一家研究所旗下挂名公司的后端实习，和上海某小厂的后端实习。经历了多场面试之后，我发现大厂相对...