使用AdamW与解耦权重衰减
warm-up后使用Cosine Annealing带Restarts
用梯度累积实现等效大批量
扩大batch并线性放大学习率(配合更长warmup/权重衰减/梯度裁剪)
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题