首页 > 试题广场 >

在Transformer的Pre-Norm和Post-Nor

[单选题]
在Transformer的Pre-Norm和Post-Norm架构中,以下哪项关于训练稳定性的描述是正确的?
  • Post-Norm训练更稳定,是目前主流大模型的默认选择
  • Pre-Norm训练更稳定,但部分研究认为在精心调优下Post-Norm可能略有优势,结论尚无定论
  • 两者的训练稳定性和最终性能完全相同
  • Pre-Norm只适用于小模型

这道题你会答吗?花几分钟告诉大家答案吧!