ZeRO只用于训练,推理不适用
ZeRO Inference将模型权重分片到多个GPU,使超大模型(超过单GPU显存)可以推理
ZeRO通过量化减少推理显存
ZeRO通过稀疏化减少推理计算量
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题