缓存模型权重以加速加载
缓存已生成token的Key和Value向量,避免在自回归解码时重复计算
缓存输入的embedding向量
缓存注意力分数矩阵
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题