复活!分享一下ai infra见解
本人入职数月,在ai infra上比起入职前有了一定的了解,现在分享一下回馈牛客上的大伙😙:
薪酬方面:对于ai infra,大部分还是属于开发类,比不过算法,但在开发里算高的。
要求方面:感觉这方向属于是要求比较高的了,从学历上来说这方向很多都是清华上交的人在做(感觉是因为mooncake,sglang),但找工作的话学历不绝对;从卷度上来说真得挺卷的,ai发展日新月异,作为底层的基础设施需要支持不同的场景;做ai infra的人越来越多,内部外部都会存在压力。
工作内容方面:从外层的最佳实践,到整个的系统优化,到某一个模块的优化,到学术上的贡献,到算子适配设计......
学习推荐:作为学生,如果实验室没有卡可以用的话,最好学习开源推理框架,而且对大模型要比较了解,要不断跟进业界开源模型,了解模型最新的改进,比如deepseek的mla,了解不同的系统设计,比如pd分离;如果有卡可以用的话最好自己部署一下不同的模型,并且往最佳实践上靠一下,验证不同算法改进的优势与劣势。
若有其他疑惑可直接私我😊,不定时解答一波
(图文无关😋)
薪酬方面:对于ai infra,大部分还是属于开发类,比不过算法,但在开发里算高的。
要求方面:感觉这方向属于是要求比较高的了,从学历上来说这方向很多都是清华上交的人在做(感觉是因为mooncake,sglang),但找工作的话学历不绝对;从卷度上来说真得挺卷的,ai发展日新月异,作为底层的基础设施需要支持不同的场景;做ai infra的人越来越多,内部外部都会存在压力。
工作内容方面:从外层的最佳实践,到整个的系统优化,到某一个模块的优化,到学术上的贡献,到算子适配设计......
学习推荐:作为学生,如果实验室没有卡可以用的话,最好学习开源推理框架,而且对大模型要比较了解,要不断跟进业界开源模型,了解模型最新的改进,比如deepseek的mla,了解不同的系统设计,比如pd分离;如果有卡可以用的话最好自己部署一下不同的模型,并且往最佳实践上靠一下,验证不同算法改进的优势与劣势。
若有其他疑惑可直接私我😊,不定时解答一波
(图文无关😋)
全部评论
有些疑问想请教下楼主,我是双非本9硕,27届。目前刚开始学习infra,但是感觉从上层一些的容器,到底层的算子之类,这么多内容都需要掌握吗?还是说专注底层的,容器这些简单了解即可
谢谢楼主!
我是211本硕,马上研二了,做的大模型方向,因为实验室的卡有但是不够,所以为了加速实验捣鼓了好久各种量化还有分布式推理框架。我寻思我如果去冲传统后端,那基本上要重新学;如果是算法岗,那a会能不能出得看运气;如果ai infra的话估计cuda底层什么的也得学。话说有没有建议呀
我现在也在阿里云异构计算实习,应该跟楼主之前是一个组
这行hc情况咋样啊今年😭
相关推荐
08-12 20:29
门头沟学院 后端工程师 点赞 评论 收藏
分享