支持更长的序列长度(超过100K tokens)
改进了工作分配策略,减少了非matmul的FLOPs比例,提升了GPU利用率
引入了稀疏注意力机制
支持FP8精度计算
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题