首页
题库
面试
求职
学习
竞赛
More+
所有博客
搜索面经/职位/试题/公司
搜索
我要招人
去企业版
登录 / 注册
首页
>
九章算法
>
如何设计一个网页爬虫系统?
60
问答题
60
/
69
如何设计一个网页爬虫系统?
参考答案
设计合理即可,实现思路:使用bfs算法进行网站爬取;使用master节点作为控制节点控制work 节点进行网站爬取;使用分布式队列做任务调度;使用key-value存储(如redis)做网页判重
纠错
收藏
查看讨论
1
...
55
56
57
58
59
60
61
62
63
64
65
...
69
跳转到
确 定
上一题
下一题
扫描二维码,关注牛客网
意见反馈
下载牛客APP,随时随地刷题