为什么大模型推理越来越快?聊聊 KV Cache

最近复盘了 KV Cache,给面试/实战一个好记版本:
1)Decoder 生成第 k 个 token 时,历史 token 的 K/V 不必重算,缓存后直接复用;
2)不做缓存会反复算历史注意力,长度一长延迟明显;
3)KV Cache 省算力但吃显存,长上下文时显存压力会成为瓶颈;
4)MHA→MQA→GQA→MLA,本质都在做“少缓存/更聪明缓存”,其中 GQA 是当前工程里很常见的平衡点。

一句话:KV Cache 是速度的来源,注意力变体是显存账本。

#大模型# #推理优化# #面试复盘#
全部评论

相关推荐

鱼专:别投了,我看到有人点了第二个链接投递,还没退出界面,不合适的邮件就发过来了
点赞 评论 收藏
分享
评论
1
2
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务