大数据之排序问题求解

一个4T的存放url的文件，机器内存4G，怎么对url按字典序排序
全部评论
4T = 4 * 1024G 计算url的hash值，然后将hash值对1024取模，也就是把4T的文件划分为1024个大小为1g左右的文件。 内存有4g，所有可以对1g的小文件全部放入内存进行排序，待1024个文件都排完序之后，多路归并。
点赞 回复 分享
发布于 2017-09-19 17:22
归并排序
点赞 回复 分享
发布于 2017-09-19 17:15
基数排序？
点赞 回复 分享
发布于 2017-09-19 16:40

相关推荐

不愿透露姓名的神秘牛友
06-23 17:02
点赞 评论 收藏
分享
06-24 00:33
三环集团有限公司_市场策略研究(准入职员工)
三环集团内推
机电面试流程一面（技术面）面试官：两位，一位是机电部门的技术主管，另一位是资深工程师。开场：面试官先让我进行了 3 - 5 分钟的自我介绍，主要围绕学习背景、项目经验以及对机电岗位的理解。项目提问：接着针对我简历上写的一个机电设备改造项目展开提问，比如改造的原因、具体实施过程中遇到了哪些技术难题，是怎么解决的。我详细讲述了因为原设备能耗高、效率低，所以我们通过更换节能型电机、优化控制系统来解决问题。在解决技术难题时，我们查阅了大量资料，请教了学校的教授，最终采用了新的控制算法实现了预期效果。专业知识考查：问了一些关于电机正反转控制电路的原理，以及如何实现电机的调速，还有 PLC 常见的故障及排...
点赞 评论 收藏
分享
05-23 10:52
湖南信息职业技术学院 Web前端
25届大专已经麻了
😭😭😭😭，广州的前端根本找不到
asdasdasdasdas：19岁，不容易啊可能升个本会好点，现在学历歧视太严重了
点赞 评论 收藏
分享
05-30 12:03
山西大学 C++
这是骗子吗
offer来了我跪着接：不是骗子，等到测评那一步就知道为啥这么高工资了
点赞 评论 收藏
分享
06-23 16:24
北京工业大学 硬件开发
点赞 评论 收藏
分享
评论
点赞
8
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 26届校招投递进展 #
19297次浏览 173人参与
# 打工人的精神状态 #
47902次浏览 842人参与
# 我的职场心眼子段位 #
26455次浏览 640人参与
# 总结:哪家公司面试体验感最好 #
49178次浏览 362人参与
# 职场捅娄子大赛 #
405745次浏览 4035人参与
# 你秋招想去哪些公司 #
18903次浏览 745人参与
# 租房找室友 #
46475次浏览 220人参与
# 谈薪时HR压价该怎么应对 #
203631次浏览 3170人参与
# 正在实习的你，有转正机会吗？ #
389073次浏览 2940人参与
# 机械人，你最希望上岸的公司是？ #
167838次浏览 1863人参与
# 90后北漂现状 #
24269次浏览 198人参与
# 秋招结束之后的日子 #
74921次浏览 900人参与
# 研究所VS国企，该如何选 #
184421次浏览 1780人参与
# 牛客十周岁生日快乐 #
143173次浏览 1606人参与
# 为什么国企只招应届生 #
177725次浏览 1156人参与
# 参加完秋招的机械人，还参加春招吗？ #
52481次浏览 558人参与
# 考公VS就业，你怎么选？ #
64271次浏览 431人参与
# 你都遇到过哪些离谱的求职经历 #
14137次浏览 45人参与
# 第一份工作能做外包吗？ #
25435次浏览 271人参与
# 为了找工作你花了哪些钱？ #
24030次浏览 232人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务