# 宽依赖对Spark MapReduce Shuffle的影响分析 🚀## 业务场景中的挑战 💼在实际的大数据处理业务中，我们经常遇到需要跨节点聚合数据的场景，比如电商平台的用户行为分析(用户ID→行为日志)或金融交易的风险监控(交易ID→关联交易)。这些业务逻辑往往会产生**宽依赖(Wide Dependency)**，即一个父RDD的分区数据会被多个子RDD分区使用。## Shuffle的性能瓶颈 ⚠️宽依赖会触发Spark的**Shuffle操作**，这是分布式计算中最昂贵的阶段之一。在Shuffle过程中，节点间需要通过网络传输大量数据，导致：1. **网络I/O压力大** ：数...

top1（清北）：阿里巴巴，腾讯，美团，抖音。ATMD奢华团队。top2（华五人）：pdd，百度，jd，蚂蚁，滴滴，快手，网易，携程，腾讯音乐。top3（老牌C9）：b站，小红书，微博，爱奇艺。top4（中上985）：boss直聘，58同城，得物，去哪儿。top5（中等985）：买菜，哈罗，知乎，当当网top6（末流985）：虎扑，虎牙，陌陌，脉脉，猎聘。

🙀

三个月真的超级快一转眼就过去了 真的还挺享受干到自己相对喜欢的工作的这段时间，每天都过的挺充实的，部门氛围很好，工作的时候都比较严谨，但也很欢乐 而且超级幸运的是一个部门的人都很nice，天天一起吃饭偶尔摸鱼聊天，现在还真的有一点舍不得 公司福利什么的感觉也蛮好的，健身房咖啡机微波炉冰箱什么的都有，每天下午都有下午茶，一般是水果，偶尔会有酸辣粉冰粉薯片辣条什么的，反正是完全饿不着 公司基本上早九晚六午休一小时45分钟（其实是五点四十五下班）不要求加班，偶尔加一加可以换调休，晚上也有宵夜，我在项目里的时候着急出结果会加一两天（我三个月也就加了几天 没有食堂，楼下有重邮食堂，还有一些别的小餐馆，有...