首页
题库
面试
求职
学习
竞赛
More+
所有博客
搜索面经/职位/试题/公司
搜索
我要招人
去企业版
登录 / 注册
首页
>
试题广场
>
如何设计一个网页爬虫系统?
[问答题]
如何设计一个网页爬虫系统?
添加笔记
求解答(0)
邀请回答
收藏(98)
分享
纠错
3个回答
添加回答
4
陈木木
设计合理即可,实现思路:使用bfs算法进行网站爬取;使用master节点作为控制节点控制work 节点进行网站爬取;使用分布式队列做任务调度;使用key-value存储(如redis)做网页判重
发表于 2015-05-05 14:55:50
回复(0)
0
我嘞个天呐
这种问题其实没有什么标准答案,爬虫大多都需要根据具体网站具体设计。
发表于 2019-03-31 15:11:51
回复(0)
0
晚安丶胖不啦叽
可以参考一下我的GitHub:
https://github.com/Miss1nOctober/Python_Spider
发表于 2017-08-21 22:08:15
回复(0)
这道题你会答吗?花几分钟告诉大家答案吧!
提交观点
问题信息
系统设计
上传者:
陈木木
难度:
3条回答
98收藏
7723浏览
热门推荐
相关试题
系统设计题:设计一个服务调度管理器...
百度
高级算法
系统设计
评论
(1)
有一台带一个千兆网卡的服务器A,会...
阿里巴巴
系统设计
评论
(34)
来自
阿里巴巴2015实习生笔试题
大规模的字典中,需要词与词中间的搭...
查找
分布式
系统设计
百元难题
评论
(0)
之前的经历中单品数据分析的经验丰富...
评论
(1)
2022 诺瓦科技 Perl re...
perl
System Verilog
评论
(1)
扫描二维码,关注牛客网
意见反馈
下载牛客APP,随时随地刷题