从事AI岗需要掌握的技术栈
#从事AI岗需要掌握哪些技术栈?#
框架上要精通PyTorch,尤其是torch.distributed(分布式训练),因为单卡已经跑不动大模型了。还要会用DeepSpeed、Megatron-LM这类分布式训练框架。
做预训练的需要懂数据清洗(大规模数据去重、质量过滤)、Scaling Law;做对齐的需要懂RL、偏好优化(DPO等);做推理的需要懂vLLM、TGI等推理加速框架,以及量化技术(GPTQ、AWQ)
框架上要精通PyTorch,尤其是torch.distributed(分布式训练),因为单卡已经跑不动大模型了。还要会用DeepSpeed、Megatron-LM这类分布式训练框架。
做预训练的需要懂数据清洗(大规模数据去重、质量过滤)、Scaling Law;做对齐的需要懂RL、偏好优化(DPO等);做推理的需要懂vLLM、TGI等推理加速框架,以及量化技术(GPTQ、AWQ)
全部评论
相关推荐
查看12道真题和解析 点赞 评论 收藏
分享
查看13道真题和解析 点赞 评论 收藏
分享
02-11 19:01
门头沟学院 嵌入式软件开发 点赞 评论 收藏
分享

