训练后通过逐层最小化量化误差的方式进行权重量化
在训练过程中使用量化感知训练(QAT)
使用动态量化,推理时实时量化激活值
仅量化embedding层和输出层
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题