找到100亿个URL中重复的URL？求最优解

1、给你A,B两个文件，各存放50亿条URL，每条URL占用64字节，内存限制是4G，让你找出A,B文件共同的URL？
2、找到100亿个URL中重复的URL？

全部评论
第一题：50亿*64B约320g，内存限制4g，所以，用一个hash函数把A文件中的url分到1000个小文件中去，把url通过hash后的值当做文件名，然后B文件也用同样的hash函数去分到1000个小文件中，这样寻找的时候，按照同名的文件从AB两个文件中去找重复（相同的url肯定分在相同文件名的小文件找那个），这样的话内存肯定能满足。 第二题，类似也是用hash去处理，重复的url肯定会分到同一个文件中去，接下来就是找重复的就是了
12 回复 分享
发布于 2017-08-13 20:29
布隆过滤
点赞 回复 分享
发布于 2017-08-14 08:41
hash过滤掉重复的，然后比对
点赞 回复 分享
发布于 2017-08-13 21:41
我觉得应该是用布隆过滤器，不过缺点是存在一定错误率
点赞 回复 分享
发布于 2017-08-13 20:39
B文件哈希成300个小文件，这个过程中去重，只保留不同的url。 然后流式读入A文件的url，根据之前哈希函数来比对，是重复的就保留结果。 差不多就这个套路吧，至于哈希函数可以md5之类的，然后再用普通的字符串哈希函数来计算出个数字来除余？？ 我对这个全靠yy，根本没有做过
点赞 回复 分享
发布于 2017-08-13 20:06
hssh分片？
点赞 回复 分享
发布于 2017-08-13 20:06

相关推荐

05-27 22:04
曼伦商贸_电商运营(准入职员工)
上海曼伦内推-滴露内推
神仙小众快消外企，杜蕾斯＆滴露的母公司曼伦26届暑期实习启动啦~26杜蕾斯暑期实习|销售岗(18.7W-20.3W/年)一、杜蕾斯线下销售 | 专业不限 全国外派1、面向人群：本科及硕士应届毕业生（港澳台&海外留学生毕业证时间为2024年9月1日-2025年8月31日），销售岗位欢迎本科及以上学历同学投递~2、曼伦正在积极拓展中国台湾及东南亚的生意市场，为补充多样化的人才，我们非常欢迎台湾籍同学加入，未来将有机会获得更多的中国台湾及东南亚工作和发展的机会二、薪资待遇诚意满满的薪酬福利，让你的可能性无忧释放：薪资：本硕校招生入职年薪约18.7w-20.3w 晋升加薪最高可达30%，每年都...
投递曼伦商贸等公司6个岗位 >
点赞 评论 收藏
分享
05-29 17:17
已编辑
北京外国语大学 平台产品
建议大家毕业前把这10件事都干了！
1、抓紧最后的时间多下点学校的免费软件，下到就是赚到。出来之后你会发现正版软件都贼贵，而且很多公司都不给配。2、学校的食堂抓紧时间多去几次，进入社会以后你会发现，学校10块一顿的饭再也吃不上了，900一年的宿舍也住不上了3、毕业前务必和起码一个学弟学妹搞好关系，一方面是能及时知道学校动向，另一方面之后可能还有些手续需要他跑腿。最好是找一个直博的学弟学妹，借他的校园账号登知网下论文，一辈子都不用花钱啦！4、一定要跟室友好好吃顿饭，再见也许就是你们结婚的时候了。5、走之前记得把彼此的黑照都备份一下，过几年，如果对方发达了，说不定能讹一笔。6、趁着学生卡还能用，赶紧去毕业旅行，以后就享受不了半价学生...
牛客小黄鱼：我证明都是真的！
好好告别我的学生时代
点赞 评论 收藏
分享
头像
05-27 00:13
已编辑
东华理工大学 Java
双非一本被误认为211
双非一本目前窘境学校在南昌，投外地的公司没有一个线上面的（已投1000+），南昌公司投了个遍，一家线上其他都是线下，其中两家中厂的面试已挂；另外一家小厂的后端八股基本全答上来了（挂，公司要全栈）；其他的几家小厂面试都是问了些技术无关的问题（要我去当黑奴的），譬如某皓，张口闭口就是公司文化是加班，问能不能接受，项目用的还是ssh，这谁敢去啊。同寝室室友也是和我差不多情况，他比我要好些。今天好不容易简历过了个大厂，没想到是癞蛤蟆想吃天鹅肉哈哈。    
内向的柠檬精在研究求职打法：没必要，暑假前找个中厂就行了，大厂完全不敢想，之前被哔站吊打，现在有个中厂hr面了，不知道能不能过
大家都开始春招面试了吗 找工作，你会甘心进小厂还是猛冲大厂
点赞 评论 收藏
分享
05-17 21:34
西安财经大学 Java
逆天
缒梦&独舞：这家公司是这样的，去年给我实习offer了，不过也是面着玩儿的，他周六还要去做公益志愿活动
点赞 评论 收藏
分享
昨天 15:09
门头沟学院 算法工程师
点赞 评论 收藏
分享
评论
点赞
35
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 写给毕业5年后的自己 #
4199次浏览 95人参与
# 毕业季等于分手季吗 #
14577次浏览 169人参与
# 华泰证券Fintech星战营 #
168371次浏览 191人参与
# 职场捅娄子大赛 #
319472次浏览 3264人参与
# 好好告别我的学生时代 #
43462次浏览 835人参与
# 华为求职进展汇总 #
4645830次浏览 28247人参与
# 海信求职进展汇总 #
65038次浏览 359人参与
# 机械制造岗投递时间线 #
22280次浏览 341人参与
# 晒一下我的毕业照 #
32779次浏览 359人参与
# 如何缓解求职过程中的焦虑？ #
7491次浏览 97人参与
# 如果今天是你的last day，你会怎么度过？ #
22744次浏览 197人参与
# HR问：你期望的薪资是多少？如何回答 #
40079次浏览 525人参与
# 当下环境，你会继续卷互联网，还是看其他行业机会 #
108290次浏览 782人参与
# 晒晒我司的端午福利 #
14861次浏览 99人参与
# 记录实习开销 #
26916次浏览 195人参与
# 如果重来一次，你还会学计算机吗 #
46876次浏览 417人参与
# 我想象的实习vs现实的实习 #
280358次浏览 2214人参与
# 上班苦还是上学苦呢？ #
222907次浏览 1329人参与
# 工作两年想退休了 #
119954次浏览 1120人参与
# 视觉/交互/设计百问百答 #
43226次浏览 427人参与
# 实习生如何通过转正 #
84993次浏览 1326人参与
牛客网
牛客企业服务