关注
第一题还是位图可以解决问题,如果用取Hash值的方法确定数据在小文件中的位置,不能够应对数据倾斜的问题。。。当然如果用Flink流式处理的思想边来边聚合是可以的,这里也不用一直加,如果同一个数据来了两次第三次直接扔掉就行了。
查看原帖
点赞 评论
相关推荐
点赞 评论 收藏
分享
点赞 评论 收藏
分享
牛客热帖
更多
正在热议
更多
# 面试问题记录 #
35776次浏览 545人参与
# 工作一周年分享 #
16017次浏览 105人参与
# 京东TGT #
37458次浏览 158人参与
# 入职第五天,你被拉进了几个工作群 #
14997次浏览 79人参与
# 机械人,你的第一份感谢信是谁给的 #
24043次浏览 296人参与
# 面试经验谈 #
23715次浏览 356人参与
# 假如我穿越到了妈妈的18岁 #
2614次浏览 32人参与
# 面试吐槽bot #
6741次浏览 56人参与
# 视觉/交互/设计招聘信息汇总 #
11488次浏览 596人参与
# 零跑求职进展汇总 #
2768次浏览 16人参与
# 职场捅娄子大赛 #
267033次浏览 2387人参与
# 国企vs私企,你更想去? #
213950次浏览 2038人参与
# 上班苦还是上学苦呢? #
215605次浏览 1288人参与
# 职场新人生存指南 #
340307次浏览 7277人参与
# 请用你的专业向妈妈表白 #
5553次浏览 56人参与
# 异地恋该为对方跳槽吗 #
28739次浏览 145人参与
# 硬件人秋招的第一个offer #
67690次浏览 1083人参与
# 妈妈治愈了你哪些脆皮时刻 #
7539次浏览 119人参与
# 硬件人更看重稳定还是高薪 #
43232次浏览 217人参与
# 机械求职避坑tips #
43094次浏览 356人参与
# 对妈妈没说出口的话 #
16364次浏览 373人参与