模型参数量越大,性能越好,数据量影响不大
在固定计算预算下,模型参数量和训练token数应按大致1:20的比例扩展
模型性能与训练步数呈线性关系
小模型通过更长训练也能超越大模型
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题