复活!分享一下ai infra见解
本人入职数月,在ai infra上比起入职前有了一定的了解,现在分享一下回馈牛客上的大伙😙:
薪酬方面:对于ai infra,大部分还是属于开发类,比不过算法,但在开发里算高的。
要求方面:感觉这方向属于是要求比较高的了,从学历上来说这方向很多都是清华上交的人在做(感觉是因为mooncake,sglang),但找工作的话学历不绝对;从卷度上来说真得挺卷的,ai发展日新月异,作为底层的基础设施需要支持不同的场景;做ai infra的人越来越多,内部外部都会存在压力。
工作内容方面:从外层的最佳实践,到整个的系统优化,到某一个模块的优化,到学术上的贡献,到算子适配设计......
学习推荐:作为学生,如果实验室没有卡可以用的话,最好学习开源推理框架,而且对大模型要比较了解,要不断跟进业界开源模型,了解模型最新的改进,比如deepseek的mla,了解不同的系统设计,比如pd分离;如果有卡可以用的话最好自己部署一下不同的模型,并且往最佳实践上靠一下,验证不同算法改进的优势与劣势。
若有其他疑惑可直接私我😊,不定时解答一波
(图文无关😋)
薪酬方面:对于ai infra,大部分还是属于开发类,比不过算法,但在开发里算高的。
要求方面:感觉这方向属于是要求比较高的了,从学历上来说这方向很多都是清华上交的人在做(感觉是因为mooncake,sglang),但找工作的话学历不绝对;从卷度上来说真得挺卷的,ai发展日新月异,作为底层的基础设施需要支持不同的场景;做ai infra的人越来越多,内部外部都会存在压力。
工作内容方面:从外层的最佳实践,到整个的系统优化,到某一个模块的优化,到学术上的贡献,到算子适配设计......
学习推荐:作为学生,如果实验室没有卡可以用的话,最好学习开源推理框架,而且对大模型要比较了解,要不断跟进业界开源模型,了解模型最新的改进,比如deepseek的mla,了解不同的系统设计,比如pd分离;如果有卡可以用的话最好自己部署一下不同的模型,并且往最佳实践上靠一下,验证不同算法改进的优势与劣势。
若有其他疑惑可直接私我😊,不定时解答一波
(图文无关😋)
全部评论
有些疑问想请教下楼主,我是双非本9硕,27届。目前刚开始学习infra,但是感觉从上层一些的容器,到底层的算子之类,这么多内容都需要掌握吗?还是说专注底层的,容器这些简单了解即可
谢谢楼主!
我是211本硕,马上研二了,做的大模型方向,因为实验室的卡有但是不够,所以为了加速实验捣鼓了好久各种量化还有分布式推理框架。我寻思我如果去冲传统后端,那基本上要重新学;如果是算法岗,那a会能不能出得看运气;如果ai infra的话估计cuda底层什么的也得学。话说有没有建议呀
我现在也在阿里云异构计算实习,应该跟楼主之前是一个组
这行hc情况咋样啊今年😭
相关推荐
07-23 12:04
杭州电子科技大学 C++ 故事和酒66:大佬,海康实习有三好:一是实习经历,也许后面业务熟悉了,也会学到新的东西;二是转正机会,相比与重新笔试面试,应该也更容易;三是能骑驴找马,如果精力不够先放弃找马也不会有损失。
ai方向岗位少,难道大,风险高,又是兴趣所在,收入又高,不可否认这是高风险高回报的选择。不过您之前不是有一段ai独角兽的实习了吗?再加一段也许有重复性的实习(能不能找到还有风险)和现在已经有的海康实习相比,收益或许没有那么大。
综上,个人建议还是在海康实习。

点赞 评论 收藏
分享