最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...

29届学院本，想找暑假实习。java真的不能去搞agent吗

对于大部分开发实习的同学来说，这应该深有体会。面试的时候，什么高并发、高性能、高可用，那是张嘴就来，但实际实习的时候才发现，哪会让你接触这些东西哦。可能理解业务就要理解一个月，然后前端做做切图，样式调整啥的，后端做做CRUD啥的。这样糊糊涂涂实习3个月准备秋招的时候，发现面试官都不知道该问你些什么，你自己也不知道该回答些什么。而有些同学知道要包装，但是可能用力过猛，导致面试稍微问深一点，就露馅了。所以合理包装自己的实习经历是必需的，那具体怎么样合理包装自己的实习经历呢？下面是具体的一些技巧：1.把“做了什么”翻译成“解决了什么问题”改重复出现的小bug：可以总结成“优化XX模块异常处理逻辑，通...