我们通过网络爬虫从网络上爬取URL并保存在文件中。假设我们分

[问答题]

我们通过网络爬虫从网络上爬取URL并保存在文件中。假设我们分两个时段分别爬了大约50亿个URL，分别存放在A、B两个文件中，其中每个URL的平均大小大约64字节。

现在你手头只有一台电脑，配置有足够的硬盘但剩余可用内存只有4GB，请设计一种可行的方法，找出A、B两个文件中都出现的URL并将他们输出到一个新的文件C中。请写出设计思路和要点。（提示：50亿＊64B = 320GB 远大于 4GB）

牛客947063561号

1、采用hash成小文件的方式

2、允许误差下，采用布隆过滤器的方式

发表于 2020-10-10 22:10:54 回复(0)

提交观点

问题信息

C++工程师 iOS工程师安卓工程师运维工程师前端工程师算法工程师房多多测试工程师 PHP工程师安全工程师 c#工程师数据库工程师 2020 大数据开发工程师 Java工程师

来自：房多多2020校招笔试...

上传者：小小

难度：

1条回答 14收藏 1381浏览

扫一扫，把题目装进口袋