首页 > 试题广场 >

什么是 KV Cache?

[问答题]
模型推理过程中将计算好的KV值 放在缓存区,后续计算新词KV可以直接复用,不用重复计算之前的kv,提高计算效率 降低显存的占用。
发表于 2025-08-18 22:29:19 回复(0)