关于模型即服务的真实问题求解

maas是今后的一个非常重要的,发展非常好的一个平台,比如说API市场啊,模型中转站,相关的业务啊。不管是大公司还是小公司,可能都会有相关的API的中转的平台
我现在有个场景问题,就比如说公司的成本和预算是有限的,服务器,然后支出的模型费用,这块都有个预定的限额,但是却要满足。AI时代非常多开发人员,去调用相关的模型,会出现这样的。资源排队配额不足,然后输出慢的问题,这样要如何解决呢?
全部评论

相关推荐

不愿透露姓名的神秘牛友
昨天 09:17
锐捷网络 产品经理 18x14 硕士其他
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务