美团nlp二面

**深度拆解：宽依赖下 Spark 与 MapReduce Shuffle 数据流动** 🚀 在大数据处理中，**Shuffle** 是连接计算阶段的关键环节，尤其在**宽依赖**（如 `groupByKey`、`join`）场景下，数据需跨节点重分布，性能挑战极大。本文对比 **Spark** 和 **MapReduce** 的 Shuffle 机制，揭秘优化逻辑！ ### **1. MapReduce：保守的磁盘王者** 💾 MapReduce 的 Shuffle 严格依赖磁盘： - **Map 阶段**：数据按分区排序后写入磁盘，生成**中间文件**。 - **Reduce 阶段**...