关于模型即服务的真实问题求解
maas是今后的一个非常重要的,发展非常好的一个平台,比如说API市场啊,模型中转站,相关的业务啊。不管是大公司还是小公司,可能都会有相关的API的中转的平台
我现在有个场景问题,就比如说公司的成本和预算是有限的,服务器,然后支出的模型费用,这块都有个预定的限额,但是却要满足。AI时代非常多开发人员,去调用相关的模型,会出现这样的。资源排队配额不足,然后输出慢的问题,这样要如何解决呢?
我现在有个场景问题,就比如说公司的成本和预算是有限的,服务器,然后支出的模型费用,这块都有个预定的限额,但是却要满足。AI时代非常多开发人员,去调用相关的模型,会出现这样的。资源排队配额不足,然后输出慢的问题,这样要如何解决呢?
全部评论
相关推荐
沉淀小子:我是学院本,从一开始拿到蓝厂的技术员,可能加班一个月到手也就近6K吧,然后我觉得自己不止于此,去了存储中厂(当时是中厂)实习,实习过程中继续面其他公司的测试,又拿到了8K的测试offer。再25年毕业了工作了4个月,社招来了FAE。达到了自己的目标薪资,继续加油。跟过去的自己比赛是最有意义的事情,回过头来看,当时24年10月的我不敢想有现在的自己,无论是心态还是工作,都逐渐走上了正规。博主你也很棒! 点赞 评论 收藏
分享
