首页 > 试题广场 >

梯度检查点 (Gradient Checkpointing)

[不定项选择题]
梯度检查点 (Gradient Checkpointing) 与 ZeRO-Offload 的主要区别体现在 
  • 两者可叠加以进一步扩大可训练模型规模
  • 前者通过丢弃中间激活再正向重算，减少显存；后者将部分参数 / 优化器状态搬到 CPU 或 NVMe
  • 两者都会增加前向推理时延
  • 前者仅影响前向计算图；后者改动优化器加载激活值的方式（例如 CPU）
查看正确选项
添加回答

这道题你会答吗？花几分钟告诉大家答案吧！

提交观点

问题信息

来自：2025年秋招-华为-...
难度：
0条回答 19浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号