首页 > 试题广场 >

在大规模预训练中,为缓解梯度噪声、加速收敛并提升泛化能力,以

[不定项选择题]
在大规模预训练中,为缓解梯度噪声、加速收敛并提升泛化能力,以下哪些做法有效?
  • 使用AdamW与解耦权重衰减
  • warm-up后使用Cosine Annealing带Restarts
  • 用梯度累积实现等效大批量
  • 扩大batch并线性放大学习率(配合更长warmup/权重衰减/梯度裁剪)

这道题你会答吗?花几分钟告诉大家答案吧!