顺丰SP产品三面

**深度拆解：宽依赖下 Spark 与 MapReduce Shuffle 数据流动** 🔍 在大数据处理中，**Shuffle** 是连接计算阶段的关键环节，尤其在**宽依赖**（如 `groupByKey`、`join`）场景下，数据需要跨节点重分布，性能挑战显著。本文对比 **Spark** 和 **MapReduce** 的 Shuffle 机制，解析其数据流动差异！ ### **1. MapReduce：落盘式 Shuffle 📉** MapReduce 的 Shuffle 是**完全落盘**的： - **Map 阶段**：数据按分区排序后写入磁盘，生成小文件（`map outp...