DeepSpeed v0.19.1 版本更新:性能优化、稳定性修复与关键功能增强全解析 1. 性能

DeepSpeed v0.19.1 版本更新:性能优化、稳定性修复与关键功能增强全解析

1. 性能优化
包括:

• 优化 singleton MoE collectives
• zero3: SDMA allgather via mori
• 支持 flash-attn 2.7.0 in FPDT attention
这些变化说明 DeepSpeed 在分布式训练和 attention 加速方面继续发力。

2. 稳定性修复
包括:

• 修复 FastFileWriter aio_fd 泄漏
• 修复 ZeRO-3 forward crash
• 修复 test_zf.py hang
• 修复 gemma4 attention head bug
这些修复对于实际训练任务非常关键,因为它们直接影响长时间运行任务的稳定性。

3. 兼容性增强
包括:

• 自动检测 CUTLASS for EvoformerAttention
• support bf16 optimizer states with CPU offload
• add setup_context for torch.func compatibility
• enable vmap on LinearFunctionForZeroStage3
• Fix DeepCompile AOT kwargs patching for PyTorch >= v2.11
这部分更新特别适合正在跟进 PyTorch 新版本、函数式 API、向量化以及混合精度训练的用户。
#大模型# #福大大架构师每日一题#
全部评论

相关推荐

05-28 21:36
已编辑
蚌埠坦克学院 前端工程师
写简历这事儿,真的,每隔一段时间就要把我折磨一遍。到了求职季,打开 Word 调格式调到眼瞎,用在线工具又担心数据存在别人服务器上。最崩溃的是上次面试前夜,发现常用的简历网站维护了,简历导不出来,当场裂开。还有那些"免费试用"的,辛辛苦苦填了两小时,最后导出按钮旁边写着"开通会员",**血压直接拉满**。干脆自己写了一个:青松简历 / Easy Resume。🌐 [在线体验](https://resume.qdabuliuq.cn/)\📦 [GitHub 仓库](https://github.com/QdabuliuQ/easy-resume)希望大家能够给个 🌟 star 🌟数据存在本地,真的不怕丢所有简历数据都存在浏览器本地,随时能手动备份成 JSON 文件。换电脑、清缓存、甚至重装系统,把 JSON 一导入,简历原封不动回来。不用注册账号,不用担心服务器宕机,更不用担心哪天公司倒闭你的简历跟着陪葬。排版不用跟 Word 打架了以前 Word 里多一行少一行,整个版面就崩。这个用的是网格拖拽布局,个人信息、工作经历、项目、教育、技能这些模块,想放哪直接拖过去,大小也能调。就像拼积木,几分钟就能搭出一个顺眼的版面。写不出内容?AI 帮你开个窍项目描述不知道怎么写?丢给 AI 润色一下,至少能给你个像样的初稿,不用对着空白页面发呆。AI 写的当然不能照搬,但有个底子再改,比从零憋字舒服太多了。导出稳定,面试前不慌PDF 和 PNG 是服务端渲染的,导出来字体不会错位、图片不会丢。本地跑直接 `npm install` 然后 `npm run dev`,部署也有 Docker 支持,`docker-compose up -d` 一行搞定。底层是 Next.js 14 + React 19 + Tailwind 4,代码全开源。我自己已经用上了,确实比之前那些工具顺手不少。
应届生简历当中,HR最关...
点赞 评论 收藏
分享
评论
1
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务