spark初学者想问一个关于数据混洗的问题

看网上说除了count之外的bykey操作能引发数据混洗，在combineByKey()方法中，说是每个分区单独操作所以要传一个mergeCombine操作，将不同分区中同一个键值合并。但是数据混洗的过程不就是将键值按照其哈希值进行分区，这样的话不就可以保证相同的键值在同一个分区了吗，为什么还要将不同分区的同一个键值进行合并呐～
不知道是不是我对数据混洗理解有误，跪求大神指教～
全部评论
简单来说，在shuffle过程中分为map阶段和reduce阶段，实际上map阶段会调用createCombiner方法和mergeValue方法对数据依据分区排序，但是此时数据并不实际移动，也就是说，在map阶段，不同map端可能存在相同的key，而若需要把不同map端相同的key聚合起来，就需要在reduce端使用mergeCombiner方法，而真正的数据移动是发生在reduce端，他会根据MapOutputTracker跟踪到map端的数据存储信息，并通过网络传输fetch数据，这时才真正发生数据的移动，才是真正的shuffle发生的时间点。
点赞 回复 分享
发布于 2019-04-16 18:09
combineByKey方法实际上需要传递三个方法，createCombiner，mergeValue，mergeCombiner三个，其中createCombiner和mergeValue是在map端进行聚合的时候使用，Map端会在一个外部排序Map中对数据进行聚集，并对数据按照reduce端的分区进行排序。而你提到的mergeCombiner是在reduce端fetch到所有map端的block之后对各个map端中所有包含自身reduce分区的数据进行merge。个人见解，欢迎指正。
点赞 回复 分享
发布于 2019-04-16 18:05
初学者来回答一下，我觉得他说的分区是来自不同map端的分区意思，你的分区是不同reduce端分区的意思
点赞 回复 分享
发布于 2019-04-16 17:11

相关推荐

2025-12-30 14:53
OPPO_AI算法部_AI研究员(准入职员工)
霸王茶姬内推，霸王茶姬内推码
1️⃣霸王茶姬面经（hr面） “简单自我介绍一下” 我大概讲了专业成绩和获奖等，我特意提到了我在社团有过活动策划的经历 “嗯有过活动策划经历是吧，说一下你对最近的市场热点有关注吗” “你了解霸王茶姬吗？就你的了解说一下” “你知道我们最近做的活动吗？” “你觉得你的沟通能力怎么样” “你知道达人是什么吗” “你了解我们这个岗位吗” “你觉得以你的经历，能为这个岗位带来什么，你做这个岗位的优势是什么” “你从大学城到公司大概要多久” -反问环节 问了薪资和上下班时间之类的 2️⃣霸王茶姬复试面经（部门主管面） “简单介绍一下自己” “你觉得做一个活动策划最重要的是什么” “你想从我们这个实习中获...
点赞 评论 收藏
分享
2025-12-29 11:57
门头沟学院 C++
不知不觉给我干哪来了？
刚入职的时候，我的技能包其实很“标准”：左手Python写模型，右手C++写点逻辑，典型的算法生配置。但真实的工作场景很快就给我上了一课：问题不会迁就你会什么语言，而是需要你用最合适的工具去解决问题。为了搞定海量数据的高并发传输，Python显得有些力不从心，于是我不得不跳出舒适区，现学Go语言，在OSS工具的基础上完善不同格式媒体的分段传输验证，解决了卡脖子的IO瓶颈。（oss这是真的快啊）紧接着面对老旧的PHP业务框架，为了让新算法能无缝接入需要将PHP到Python的整体架构迁移。其中涉及到的代码深度，现在想想还是脑壳疼，一个算子包了六七层！现在的我，与其说是“学会了更多语言”，不如说是...
大家实习都在做什么？
点赞 评论 收藏
分享
2025-12-04 18:07
已编辑
门头沟学院 Java
点赞 评论 收藏
分享
2025-11-20 15:36
山东大学 C++
点赞 评论 收藏
分享
今天 18:30
vivo_数据算法工程师(准入职员工)
正浩创新内推，正浩创新内推码
26届女硬件工程师丨正浩创新面经及流程9.1一面1.自我介绍2.有无相关电源设计项目或经历，并浅谈3.DCDC拓扑手撕（但是我当时没带纸笔所以口头描述），BUCK和BOOST，同步异步的区别和优缺点，同步电路的控制方式（施加什么PWM波形，如何控制MOS通断）4.项目中最有挑战性的部分，怎么解决的，然后会深挖这一部分再提问（这个问题出现的根本原因，下次如何避免）5.面试官说我专业其实不是很对口，不是电气工程专业，所以问的比较浅，大家仅供参考9.2收到笔试链接，非笔试，为性格测试9.5收到二面短信9.8 二面，没有技术问题，主要问了在校做过什么项目，调试遇到什么问题，除此之外有没有做过电源相关项...
点赞 评论 收藏
分享
评论
点赞
收藏
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 对2025年忏悔 #
10022次浏览 186人参与
# 机械/制造每日一题 #
82062次浏览 1430人参与
# 一人说一家双休的公司 #
13925次浏览 150人参与
# 非技术2023笔面经 #
316886次浏览 2685人参与
# 实习没人带，苟住还是跑路？ #
18791次浏览 343人参与
# 机械求职避坑tips #
82599次浏览 537人参与
# 工作中，努力重要还是选择重要？ #
248378次浏览 2412人参与
# 如果秋招能重来，我会____ #
79627次浏览 471人参与
# 应届生，你找到工作了吗 #
97558次浏览 596人参与
# 面试紧张时你会有什么表现？ #
21126次浏览 154人参与
# 为了找工作你投递了多少公司？ #
99503次浏览 685人参与
# 春招前还要继续实习吗？ #
12452次浏览 137人参与
# 每个月的工资都是怎么分配的？ #
81686次浏览 665人参与
# 虾皮求职进展汇总 #
362658次浏览 2767人参与
# 影石Insta360求职进展汇总 #
169349次浏览 1345人参与
# 哪些公司笔/面试难度大？ #
7478次浏览 35人参与
# AI时代，哪些岗位最容易被淘汰 #
25983次浏览 223人参与
# 你面试被问到过哪些不会的问题？ #
107273次浏览 1879人参与
# 秋招被确诊为…… #
280457次浏览 1589人参与
# 大疆的机械笔试比去年难吗 #
96325次浏览 767人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务