lmdeploy v0.13.0 升级:支持新模型、新端点、TurboQuant、Anthropic
lmdeploy v0.13.0 升级:支持新模型、新端点、TurboQuant、Anthropic兼容服务、Mixed Modality 与多项核心优化,推理服务能力全面进化
v0.13.0 首先最直观的变化,就是对更多模型和平台的支持进一步增强。
1. 支持 qwen3.5 35BA3B
这一版本新增了对 qwen3.5 35BA3B 的支持,面向 Ascend 场景进行了适配。这意味着在相关硬件平台上,可以更好地运行该模型版本,进一步扩展了 lmdeploy 的模型覆盖范围。
2. 支持 InternS2 Preview
v0.13.0 还增加了对 InternS2 Preview 的支持。这表明 lmdeploy 继续在新模型接入速度上保持推进,为后续更多模型版本落地打下基础。
3. Mixed modality
这一版本还带来了 Mixed modality 能力,说明 lmdeploy 在多模态输入处理方面继续增强。结合后面“支持更多 message item types”的更新,可以看到这一版对于复杂输入结构的适配更加完整。
4. 支持更多 message item types
v0.13.0 增加了对更多 message item types 的支持,这类更新对多轮对话、复杂消息结构以及多模态/混合模态输入非常关键。它让服务端对不同消息元素的理解更完整,减少兼容性问题。
#大模型# #福大大架构师每日一题#
v0.13.0 首先最直观的变化,就是对更多模型和平台的支持进一步增强。
1. 支持 qwen3.5 35BA3B
这一版本新增了对 qwen3.5 35BA3B 的支持,面向 Ascend 场景进行了适配。这意味着在相关硬件平台上,可以更好地运行该模型版本,进一步扩展了 lmdeploy 的模型覆盖范围。
2. 支持 InternS2 Preview
v0.13.0 还增加了对 InternS2 Preview 的支持。这表明 lmdeploy 继续在新模型接入速度上保持推进,为后续更多模型版本落地打下基础。
3. Mixed modality
这一版本还带来了 Mixed modality 能力,说明 lmdeploy 在多模态输入处理方面继续增强。结合后面“支持更多 message item types”的更新,可以看到这一版对于复杂输入结构的适配更加完整。
4. 支持更多 message item types
v0.13.0 增加了对更多 message item types 的支持,这类更新对多轮对话、复杂消息结构以及多模态/混合模态输入非常关键。它让服务端对不同消息元素的理解更完整,减少兼容性问题。
#大模型# #福大大架构师每日一题#
全部评论
相关推荐
查看8道真题和解析 点赞 评论 收藏
分享
点赞 评论 收藏
分享