首页 > 试题广场 >

在对大模型进行 finetune 时,合适的学习率是关键因素

[单选题]
在对大模型进行 finetune 时,合适的学习率是关键因素之一。以下哪个描述最准确地解释了在 finetune 过程中选择学习率的原则?
  • finetune 任务越难,学习率应该越大
  • finetune 任务越难,学习率应该越小
  • 学习率与 finetune 任务难度无关,选择一个固定的值即可
  • 学习率的选择应该依赖于模型的深度

这道题你会答吗?花几分钟告诉大家答案吧!