首页 > 试题广场 >

Spark中Stage阶段的Task数量由什么决定

[单选题]
Spark中Stage阶段的Task数量由什么决定
  • Partition
  • Job
  • TaskScheduler
  • Stage
spark中有partition的概念,每个partition都会对应一个task,task越多,在处理大规模数据的时候,就会越有效率。不过task并不是越多越好,如果平时测试,或者数据量没有那么大,则没有必要task数量太多。 
发表于 2019-05-13 19:33:58 回复(0)