昨天 06:42 北京动视元科技有限公司_产品中心_研发工程师 发布于北京
发布于北京 关注
lmdeploy v0.11.0 发布：功能增强、性能优化与Bug修复详解 🚀 新功能（Featu
lmdeploy v0.11.0 发布：功能增强、性能优化与Bug修复详解
🚀 新功能（Features）
• 新增 /abort_request 接口，可用于中断正在进行的请求。
• 引入 Qwen3 系列支持，包括 Qwen3-VL 模型。
• 支持通过扁平化 bucket tensor 的方式同步权重。
• 支持面向 MoE（Mixture of Experts）模型的分组路由机制。
• 增加返回路由专家用于复用的功能，减少重复计算。
• 引入上下文并行（context parallel）支持，提高推理效率。
• 新增 fope 功能模块。
• 增加推测式解码（speculative decoding）支持。
• MoE 模型 bf16 精度执行引擎优化。
#大模型# #福大大架构师每日一题#
🚀 新功能（Features）
• 新增 /abort_request 接口，可用于中断正在进行的请求。
• 引入 Qwen3 系列支持，包括 Qwen3-VL 模型。
• 支持通过扁平化 bucket tensor 的方式同步权重。
• 支持面向 MoE（Mixture of Experts）模型的分组路由机制。
• 增加返回路由专家用于复用的功能，减少重复计算。
• 引入上下文并行（context parallel）支持，提高推理效率。
• 新增 fope 功能模块。
• 增加推测式解码（speculative decoding）支持。
• MoE 模型 bf16 精度执行引擎优化。
#大模型# #福大大架构师每日一题#
全部评论
相关推荐
查看10道真题和解析 点赞 评论 收藏
分享
