lmdeploy v0.13.0 升级:支持新模型、新端点、TurboQuant、Anthropic

lmdeploy v0.13.0 升级:支持新模型、新端点、TurboQuant、Anthropic兼容服务、Mixed Modality 与多项核心优化,推理服务能力全面进化

v0.13.0 首先最直观的变化,就是对更多模型和平台的支持进一步增强。

1. 支持 qwen3.5 35BA3B
这一版本新增了对 qwen3.5 35BA3B 的支持,面向 Ascend 场景进行了适配。这意味着在相关硬件平台上,可以更好地运行该模型版本,进一步扩展了 lmdeploy 的模型覆盖范围。

2. 支持 InternS2 Preview
v0.13.0 还增加了对 InternS2 Preview 的支持。这表明 lmdeploy 继续在新模型接入速度上保持推进,为后续更多模型版本落地打下基础。

3. Mixed modality
这一版本还带来了 Mixed modality 能力,说明 lmdeploy 在多模态输入处理方面继续增强。结合后面“支持更多 message item types”的更新,可以看到这一版对于复杂输入结构的适配更加完整。

4. 支持更多 message item types
v0.13.0 增加了对更多 message item types 的支持,这类更新对多轮对话、复杂消息结构以及多模态/混合模态输入非常关键。它让服务端对不同消息元素的理解更完整,减少兼容性问题。
#大模型# #福大大架构师每日一题#
全部评论

相关推荐

五一假期来点轻松的,基本每个面试官都会有反问环节,这个问题被太多人当成客套话了,面试官问这个的时候其实还在观察你,问好了加分,问砸了减分,不说直接走更是浪费了一个展示自己的机会【千万别说的】“我表现怎么样”——面试还没结束你就问结果,显得急切而且让面试官为难,这个有些说是推荐,可以让面试官给你建议,但是不要问表现怎么样。“薪资多少”“加班多不多”——还没拿到offer就聊这些,面试官会觉得你只关心待遇“没什么想问的”——直接走人,面试官会觉得你对这个岗位兴趣不大“咱们公司是做什么的”——说明你来之前都没做功课,白来一趟【技术面可以问的】“咱们团队目前的技术栈和测试框架是什么”——体现你关心技术落地,不是只会背八股“日常开发中代码review的流程是什么样的”——说明你重视代码质量,有工程意识“测试过程中遇到最棘手的问题是什么”——展示你愿意深入业务,不是只会执行用例“我们团队现在最关注的内容是什么,在做什么专项”——主管面特别好用,说明你关心团队方向,不是只会埋头干活“新人入职后一般会安排哪些任务来熟悉业务”——说明你想快速上手,态度积极【HR面可以问的】“公司对新人有培养体系吗”——关心成长,不是混日子“这个岗位未来的晋升路径是什么样的”——说明你有长期规划,不是随便投投“团队的工作节奏是什么样的”——合理了解工作强度,不是问"加班多不多"万能问法“如果有幸可以入职的话,您希望我最先掌握什么”——这句话几乎是万能的,任何面试都能用最后一问不是走过场,是你最后一次主动展示自己的机会,用好了真的能翻盘。我是阿Duang,整理了测开知识库,包括基础知识和各类面经,需要发你。
反问环节如何提问
点赞 评论 收藏
分享
评论
1
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务