动态RoPE缩放(如NTK-Aware Scaling)配合sliding window attention
重新预训练模型支持长上下文
对模型进行长上下文SFT微调
增大GPU显存
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题