深信服提前批

最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...

#我的求职进度条# #运营# 

组内的一起实习的一个同事，日常的沟通中，总是叫我亲亲，亲爱的，隔三差五也喊我一起吃饭，定奶茶，日常相处感觉还挺友好的，感觉对我和对别人不一样，是不是对我有意思呀？要不要趁今天520，表个白？或者怎么试探一下呢？牛友们帮忙支个招，不至于我会错意了，连朋友都没得做

还记得多年前刚读研的时候，我的观念还是唯技术论，觉得算法岗和研发岗才是最有意义的岗位，对产品经理嗤之以鼻后来到了研三秋招，才意识到大厂的产品经理岗，我已经很难跻身进去了，原因大家都知道，这个岗位很卷为什么呢？1，实习回顾我的上学生涯，除了恋爱谈得不够多之外，最遗憾的一个点就是没有经历过真正意义上的实习，简历上写的实习经历其实是那些单位和我导师的项目合作而已我本科在威海读的，山东大学威海校区，整个大学四年在那个山清水秀的好地方，我连实习的概念都没有，好像身边的人要么努力学习、竞赛最后保研，要么大三就开始努力考研，要么考完雅思拿到国外offer就开始放心的玩了。印象最深的是知道有同学大四跑去上海一...