首页 > 试题广场 >

在分布式训练大型模型时，数据并行策略的定义是什么？

[单选题]
在分布式训练大型模型时，数据并行策略的定义是什么？ 
  • 将模型的不同层分配到多个设备上并行执行
  • 在多设备上复制完整模型，每个处理独立数据批次并同步梯度
  • 只在单一设备上执行所有计算，以保持一致性
  • 并行处理输入数据的预处理和加载
查看正确选项
添加回答
活跃的芝士在被拷头像 活跃的芝士在被拷
  • 在每个设备（如 GPU 或节点）；
  • 每个设备接收不同的数据子批次（mini-batch）；
  • 各自独立进行前向传播和反向传播，计算本地梯度；
  • 然后通过梯度同步机制（如 All-Reduce）将所有设备的梯度汇总并平均；
  • 所有设备使用相同的更新后的模型参数继续下一轮训练。
发表于 2025-12-03 09:53:17 回复(0)
提交观点

问题信息

大模型概念
难度：
1条回答 97浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号