关于模型即服务的真实问题求解
maas是今后的一个非常重要的,发展非常好的一个平台,比如说API市场啊,模型中转站,相关的业务啊。不管是大公司还是小公司,可能都会有相关的API的中转的平台
我现在有个场景问题,就比如说公司的成本和预算是有限的,服务器,然后支出的模型费用,这块都有个预定的限额,但是却要满足。AI时代非常多开发人员,去调用相关的模型,会出现这样的。资源排队配额不足,然后输出慢的问题,这样要如何解决呢?
我现在有个场景问题,就比如说公司的成本和预算是有限的,服务器,然后支出的模型费用,这块都有个预定的限额,但是却要满足。AI时代非常多开发人员,去调用相关的模型,会出现这样的。资源排队配额不足,然后输出慢的问题,这样要如何解决呢?
全部评论
相关推荐
