Post-Norm训练更稳定,是目前主流大模型的默认选择
Pre-Norm训练更稳定,但部分研究认为在精心调优下Post-Norm可能略有优势,结论尚无定论
两者的训练稳定性和最终性能完全相同
Pre-Norm只适用于小模型
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题