首页 > 试题广场 >

以下哪些技术可以有效减少大模型推理时KV Cache的显存占

[不定项选择题]
以下哪些技术可以有效减少大模型推理时KV Cache的显存占用？ 
  • Grouped Query Attention(GQA)
  • Multi-head Latent Attention(MLA)
  • Flash Attention
  • 模型权重量化(如INT4)
查看正确选项
添加回答
爱跳的Mario头像 爱跳的Mario
kv 显存占用：GQA，MLA
发表于 2026-04-10 22:08:39 回复(0)
提交观点

问题信息

大模型概念
难度：
1条回答 18浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号