首页 > 试题广场 >

spark 中的Stage 的 Task 的数量由什么决定

[单选题]
spark 中的Stage 的 Task 的数量由什么决定 ：（     ） 
  • Partition
  • Job
  • Stage
  • TaskScheduler
查看正确选项
添加回答
offer滚滚来~头像 offer滚滚来~

通过这个图我们可以看出job-stage-task的对应关系。首先job的划分是遇到action操作时，被发现后经过sparkcontext的runjob方法来到DAGscheduler，这个类中它会通过依赖关系划分出stage，一个stage是一个taskset，里面的每个task对应着rdd的一个分区。task可以理解为并行的分片。

发表于 2019-04-09 16:36:39 回复(0)
提交观点

问题信息

设计 算法工程师 第四范式 2019
上传者：小小
难度：
1条回答 8178浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号