压缩模型权重,减少显存占用
缓存已计算的Key和Value矩阵,避免自回归推理时的重复计算
加速模型权重加载速度
减少注意力计算的精度损失
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题