2025-12-05 06:42 北京动视元科技有限公司_产品中心_研发工程师 发布于北京
发布于北京 关注
lmdeploy v0.11.0 发布：功能增强、性能优化与Bug修复详解 🚀 新功能（Featu
lmdeploy v0.11.0 发布：功能增强、性能优化与Bug修复详解
🚀 新功能（Features）
• 新增 /abort_request 接口，可用于中断正在进行的请求。
• 引入 Qwen3 系列支持，包括 Qwen3-VL 模型。
• 支持通过扁平化 bucket tensor 的方式同步权重。
• 支持面向 MoE（Mixture of Experts）模型的分组路由机制。
• 增加返回路由专家用于复用的功能，减少重复计算。
• 引入上下文并行（context parallel）支持，提高推理效率。
• 新增 fope 功能模块。
• 增加推测式解码（speculative decoding）支持。
• MoE 模型 bf16 精度执行引擎优化。
#大模型# #福大大架构师每日一题#
🚀 新功能（Features）
• 新增 /abort_request 接口，可用于中断正在进行的请求。
• 引入 Qwen3 系列支持，包括 Qwen3-VL 模型。
• 支持通过扁平化 bucket tensor 的方式同步权重。
• 支持面向 MoE（Mixture of Experts）模型的分组路由机制。
• 增加返回路由专家用于复用的功能，减少重复计算。
• 引入上下文并行（context parallel）支持，提高推理效率。
• 新增 fope 功能模块。
• 增加推测式解码（speculative decoding）支持。
• MoE 模型 bf16 精度执行引擎优化。
#大模型# #福大大架构师每日一题#
全部评论
相关推荐
点赞 评论 收藏
分享
01-29 19:56
西安电子科技大学 自然语言处理 点赞 评论 收藏
分享
02-21 15:54
门头沟学院 算法工程师 
owwhy：难，技术栈在嵌入式这块显得非常浅，并且简历有大问题。教育经历浓缩成两行就行了，写什么主修课程，说的不好听这块没人在意，自我评价删了，项目写详细点，最终简历缩成一页。相关技能怎么说呢，有点差了，还写成这么多行 点赞 评论 收藏
分享
点赞 评论 收藏
分享