首页 > 试题广场 >

在当下比较流行的分布式数据处理平台 Spark 中

[不定项选择题]

在当下比较流行的分布式数据处理平台 Spark 中，有一些常用的高阶算子，比如说 flatMap, filter, groupByKey等等；它们中的某些算子会触发shuffle操作，所谓shuffle，粗略的可以理解为要处理的数据集的内部分区需要进行重排，而不是原地计算。下面哪个算子会引起shuffle？（）

```
map
```
```
count
```
```
sortByKey
```
```
join
```

查看正确选项

牛客502783625号

Count是action，忽略了

发表于 2021-11-08 04:45:52 回复(0)

喜欢到处溜达的家伙

spark中会导致shuffle操作的有以下几种算子、

1、repartition类的操作：比如repartition、repartitionAndSortWithinPartitions、coalesce等
2、byKey类的操作：比如reduceByKey、groupByKey、sortByKey等
3、join类的操作：比如join、cogroup等

发表于 2020-08-07 21:48:22 回复(0)

风尘子曰

1.repartition类的操作：比如repartition、repartitionAndSortWithinPartitions、coalesce等
2.byKey类的操作：比如reduceByKey、groupByKey、sortByKey等
3.join类的操作：比如join、cogroup等

发表于 2020-03-13 11:03:01 回复(0)