首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
课程
专栏·文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
查理的巧克力
2019-04-16 16:46
已编辑
算法工程师
关注
已关注
取消关注
spark初学者想问一个关于数据混洗的问题
看网上说除了count之外的bykey操作能引发数据混洗,在combineByKey()方法中,说是每个分区单独操作所以要传一个mergeCombine操作,将不同分区中同一个键值合并。但是数据混洗的过程不就是将键值按照其哈希值进行分区,这样的话不就可以保证相同的键值在同一个分区了吗,为什么还要将不同分区的同一个键值进行合并呐~
不知道是不是我对数据混洗理解有误,跪求大神指教~
提示
全部评论
推荐
最新
楼层
NowaCoder
阿里巴巴_阿里云_研发工程师
初学者来回答一下,我觉得他说的分区是来自不同map端的分区意思,你的分区是不同reduce端分区的意思
点赞
回复
分享
发布于 2019-04-16 17:11
turtlebin
大数据开发工程师
combineByKey方法实际上需要传递三个方法,createCombiner,mergeValue,mergeCombiner三个,其中createCombiner和mergeValue是在map端进行聚合的时候使用,Map端会在一个外部排序Map中对数据进行聚集,并对数据按照reduce端的分区进行排序。而你提到的mergeCombiner是在reduce端fetch到所有map端的block之后对各个map端中所有包含自身reduce分区的数据进行merge。个人见解,欢迎指正。
点赞
回复
分享
发布于 2019-04-16 18:05
滴滴
校招火热招聘中
官网直投
turtlebin
大数据开发工程师
简单来说,在shuffle过程中分为map阶段和reduce阶段,实际上map阶段会调用createCombiner方法和mergeValue方法对数据依据分区排序,但是此时数据并不实际移动,也就是说,在map阶段,不同map端可能存在相同的key,而若需要把不同map端相同的key聚合起来,就需要在reduce端使用mergeCombiner方法,而真正的数据移动是发生在reduce端,他会根据MapOutputTracker跟踪到map端的数据存储信息,并通过网络传输fetch数据,这时才真正发生数据的移动,才是真正的shuffle发生的时间点。
点赞
回复
分享
发布于 2019-04-16 18:09
滴滴
校招火热招聘中
官网直投
相关推荐
勇敢的哈士奇面向对象
04-24 20:14
天津师范大学 翻译
徐工,你这么玩是吧?
真的很无语,里面的领导姿态也未免太高了,初面完了让等通知2面,后来就一直推,等了快一个月迎来了二面,后来因为领导一句话没面试成功,好好好,这福气我是享受不了,谁爱去谁去
徐工集团二面1人在聊
点赞
评论
收藏
转发
Renee_1120468284
04-24 18:02
HRBP
金三银四最后一个星期,别摆烂!!
🆚五一是一个很重要的节点,经过了金三银四的争取后,有些人手握offer进行着自己的价值选择,而过了五一也就要做出最终的决定了,所以五一后招聘市场势必会有更多的招聘需求,可不要放弃这个大好机会哦~ 💡五一后易收到offer的候选人,除了背景和能力的匹配外,大多数hr会更倾向能够快速到岗的候选人。
点赞
评论
收藏
转发
qrna
04-15 11:06
北京航空航天大学 计算机类
轮到我写感谢信了
经过多平台投票调研,以及和多位朋友深入讨论,最终决定放弃百度的offer,全身心拥抱鹅厂
点赞
评论
收藏
转发
//鲨鱼辣椒
04-12 19:12
Massachusetts Inst. of Technology 计算机类
一天一个感谢信reject++
点赞
评论
收藏
转发
fireflies2000
04-26 14:54
已编辑
西安交通大学 计算机类
25届0offer鼠鼠道心快要破碎了
简单记录一下求职进度吧美团平台java后端:笔试 5/5 第一次二面排序挂、第二次二面直接挂、4.22第三次二面至今无消息小红书社区技术-java后端:笔试3/3 4.16一面后无消息pdd服务端:笔试4/4 4.20一面 4.25二面华为-通用软件开发:免笔试 4.26一面携程:笔试4/4 尚未约面饿了么:笔试没做 4.23一面后无消息(疑似KPI)腾讯云:笔试没做 4.17一面后10分钟接着挂简历挂:快手、高德地图无实习选手真的找不到暑期实习吗,虽然希望很小,但还是期待能拿个offer啊4/26 更新:团子offer了,我是团孝子!
投递快手等公司10个岗位 >
点赞
评论
收藏
转发
点赞
收藏
评论
分享
回复帖子
全站热榜
1
...
想来字节技术实习,看我这篇就够了!——保姆级面经大放送
2.9W
2
...
外卖员面试经验
2.0W
3
...
25届第一份实习怎么找?
1.9W
4
...
【0429快问快答】99%牛油的疑惑解答(更新至38个问题
1.8W
5
...
0实习经验上岸字节,分享一下过程经验
1.6W
6
...
【奖】来领牛币和静音鼠标啦~
1.6W
7
...
准备去参加自己的婚礼
1.0W
8
...
美团后端日常实习一二面(已oc)
9524
9
...
【💰有奖征集】非技术岗位笔面经邀你来分享!攒人品时间到!
7363
10
...
4.27美团笔试
5836
正在热议
#
牛友的五一计划
#
20018次浏览
395人参与
#
晒一晒我的offer
#
2837834次浏览
50011人参与
#
牛客帮帮团来啦!有问必答
#
404139次浏览
7856人参与
#
无实习如何秋招上岸
#
174018次浏览
2735人参与
#
如何看待offer收割机的行为
#
195181次浏览
2996人参与
#
如何一边实习一边秋招
#
202460次浏览
4011人参与
#
华为求职进展汇总
#
443605次浏览
4449人参与
#
春招别灰心,我们一人来一句鼓励
#
21739次浏览
315人参与
#
产品实习,你更倾向大公司or小公司
#
31366次浏览
492人参与
#
非技术岗薪资爆料
#
9297次浏览
189人参与
#
硬件人的春招flag
#
14607次浏览
199人参与
#
女生做医疗销售有前景吗
#
3912次浏览
49人参与
#
字节跳动工作体验
#
54534次浏览
1593人参与
#
聊聊这家公司值得去吗
#
64294次浏览
1294人参与
#
第一次面试
#
18260次浏览
283人参与
#
在国企工作的人,躺平了吗?
#
73171次浏览
883人参与
#
机械人,你的秋招第一份简历被谁挂了
#
27109次浏览
494人参与
#
来聊聊机械薪资天花板是哪家
#
23202次浏览
180人参与
#
你更愿意参加线上面试还是线下面试?
#
7068次浏览
96人参与
#
如何KTV领导
#
7578次浏览
74人参与
牛客网
牛客企业服务