参考答案

MXNet有两个主要的进程server和worker,worker之间不能进行通信,只能通过server互相影响。Tensorflow有worker,server,client三种进程,worker是可以相互通信的,可以根据op的依赖关系主动收发数据。MXNet常用来做数据并行,每个GPU设备上包含了计算图中所有的op,而Tensorflow可以由用户指定op的放置,一般情况下一个GPU设备负责某个和几个op的训练任务。