首页 > 试题广场 >

KV Cache在大模型推理中的作用是什么?

[单选题]
KV Cache在大模型推理中的作用是什么?
  • 缓存模型权重以加速加载
  • 缓存已生成token的Key和Value向量,避免在自回归解码时重复计算
  • 缓存输入的embedding向量
  • 缓存注意力分数矩阵

这道题你会答吗?花几分钟告诉大家答案吧!