offer求比较> <

这个面经是群里&nbsp;小伙伴分享的&nbsp;社招,&nbsp;2年的工作经验&nbsp;双非本9硕&nbsp;将近40分钟都在问项目细节&nbsp;项目这里我全部砍掉了1.&nbsp;自我介绍2.&nbsp;大模型在推理时通常分哪两个阶段，每个阶段关注点是什么一般分成&nbsp;prefill&nbsp;和&nbsp;decode&nbsp;两个阶段。prefill&nbsp;阶段主要是把输入&nbsp;prompt&nbsp;一次性编码进去，重点看吞吐、并行效率和长序列的计算开销；decode&nbsp;阶段是逐&nbsp;token&nbsp;生成，重点看单步延迟、KV&nbsp;Cache&nbsp;复用和&nbsp;batch&nbsp;调度效率。很多线上推理慢，不是模型本身慢，而是&nbsp;prefill&nbsp;太重或者&nbsp;decode&nbsp;阶段调度策略不合理。理解这两个阶段，才能知道为什么有些优化只对长输入有效...