立得空间

最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...

AI工程师在奶茶这块儿能干啥？

多多近期刷到很多关于华为OD的问答贴以及后台也有小伙伴私信我一些问题，多多整理了大家问得最多、也是最容易踩坑的地方。真相一：OD薪资到底怎么算？试用期打折吗？加班费给不给？直接说结论：试用期6个月，工资不打折，按B绩效发（正常拿绩效工资，不会故意克扣）。薪资结构 = 基本工资 + 绩效工资 + 年终奖（2~4个月）。绩效A年终4个月，B年终2个月。五险一金按基本工资为基数，公积金比例5%~12%（看城市）。加班费实打实给：月末周六固定加班 = 双倍工资（每月只有那一天强制算加班）。其他指令性加班，按国家规定支付加班费（平时1.5倍，周末2倍，法定3倍）。工作日一二四一般晚上8:30左右下班（补...