华为OD面经-python开发岗位

**大数据 Shuffle 基础：宽依赖下 Spark 与 MapReduce 对比指南** 🔄📊 在大数据处理中，**Shuffle** 是连接不同计算阶段的关键操作，尤其在**宽依赖**（如 `groupByKey` 或 `join`）场景下，其性能直接影响作业效率。本文对比 **Spark** 和 **MapReduce** 在宽依赖下的 Shuffle 机制差异，助你优化选择！ ### 1. **Shuffle 机制对比** - **MapReduce** 🗺️➡️🧩  - **两阶段固定模式**：Map 阶段将数据**分区排序后落盘**，Reduce 阶段**拉取数据**，磁...

中电信量子集团 23年新成立 未来发展不知道研发 总包22w左右 base合肥杭州银行信息科技岗开发研发 总包25w左右 base杭州如何选择

### 案例解析：宽依赖下 Spark 与 MapReduce Shuffle 数据重分布 🔄 在大数据处理中，**Shuffle** 是连接不同计算阶段的关键操作，尤其在**宽依赖**（如 `groupBy`、`join`）场景下，数据需要跨节点重分布，性能挑战显著。本文对比 **Spark** 和 **MapReduce** 的 Shuffle 机制，解析其优化思路 💡。 #### 1. **MapReduce 的 Shuffle：磁盘主导的保守派** 🐢 MapReduce 的 Shuffle 完全依赖磁盘： - **Map 阶段**：数据按分区写入本地磁盘，生成小文件 。 - *...

（不知道是因为是下班时间面的还是要面很多人，问的很快很浅显）1、自我介绍2、实习的数仓分层3、实习时ETL工具，调度工具4、你项目里有微服务，技术栈为什么没写Java5、你现在的分析库主要是Doris吗？6、了解现在主流数据湖的优势和不同吗？7、你了解数据指标体系怎么搭建？8、数据治理的工作怎么开展吗？9、哪种算脏数据，怎么清洗数据？反问：1、公司业务2、技术栈3、信创