数据其它

1. 根据行业大模型训练要求，编写并调试数据预处理和训练用数据集构建相关工具，确保代码符合质量要求； 2. 完成对行业原始数据的预处理，并构建训练所需的数据集和加载器。 3. 负责监控分析模型训练数据加载相关过程，修复错误，排除故障。 4. 负责数据集相关工具在数据平台层面的对接集成，确保相关工具被高效调用。

1. 3年以上AI相关系统或企业级平台系统或互联网应用相关开发经验； 2. 精通Python语言，熟练使用PyTorch，熟悉Dataset和DataLoader相关功能； 3. 熟悉数据处理开源工具，并具备基于开源工具进行定制化开发的能力； 4. 具备人工智能大型自然语言模型训练相关系统研发经验者优先； 5. 具有良好等言语表达能力，善于与人沟通合作，有良好等团队意识与高度责任感。

AI相关系统 PyTorch