知乎爬虫问题求指导！

最近在学爬虫，想爬知乎的用户，思路是从一个用户的被关注列表里面获取关注该用户的其它用户,采用广度优先的原则，将用户的url放到一个unvisited队列中，问题来了：比如轮子哥的关注有几十万，这个页面的用户全部加入到队列中的时间非常长，用单线程的时间全在等待加入队列上了，等这个页面的用户全部入队之后才出队爬取下一个页面。所以需要使用多线程，在入队时，其它线程继续爬取页面，但是Java多线程不太熟，请问下多线程的思路~~谢谢
全部评论
6度原理告诉我们，你从一个知乎用户开始爬取就可以爬到所有用户信息。其实在微观上看就是多叉树，宏观上看是网状图。能处理好图的遍历就行
点赞 回复 分享
发布于 2017-04-18 07:35
可以参考我做的:https://github.com/brianway/webporter
点赞 回复 分享
发布于 2017-04-17 21:00
为什么要从被关注列表里取数据呢，从关注列表里取不更好吗，每个人关注的用户是有限可控的。 可以用一个任务队列+unvisited队列，主线程负责从unvisited队列里取url将用户信息存入数据库，并将该用户的关注列表链接和页码数作为参数压入任务队列，辅线程不断从任务队列里取数据并把所关注用户的url压入unvisited队列。 关键做好同步和去重。
点赞 回复 分享
发布于 2017-04-17 20:34
这不是生产者和消费者嘛😆
点赞 回复 分享
发布于 2017-04-17 20:19

相关推荐

01-31 13:33
腾讯_Android客户端开发
字节飞书 安卓二面
自我介绍自定义 View 和自定义 ViewGroup 的实现流程？安卓界面刷新的垂直同步信号是什么，有什么作用？如何从内存和卡顿两个角度优化 UI 性能？安卓中 ANR 的触发阈值是什么，底层是如何检测 ANR 的？除了约束布局，还有哪些布局优化手段？RecyclerView 相比 ListView 有哪些性能优势？屏幕适配中，尺度修饰符（如 sw600dp）的作用是什么？如何根据不同屏幕尺寸加载对应布局？volatile 关键字的作用是什么，能保证并发的哪些特性（可见性、有序性、原子性）？volatile 关键字底层是如何实现的，内存屏障的作用是什么？单例模式中如何使用 volatile ...
查看22道真题和解析
点赞 评论 收藏
分享
02-02 11:53
阿里云_研发工程师JAVA(准入职员工)
shein内推，shein内推码
整体的感受还是拆分四个板块吧 1.个人成长-目前业务也在快速扩张期，有很多空白板块可以继续进行搭建，所以在背靠跨境的业务的同时也是可以积累非常可视化的经验，数据分析，项目管理，团队管理，绩效达成落地方案，都是必须需要掌握的技能 2.工作氛围-没有PUA也没有精神内耗，团队偏年轻化领导接近一线业务，没有精神鸿沟的同时具有亲和力的，下班时间和同事相处十分融洽，所以从整体感受来讲会比较轻松 3.福利待遇-位置在四海城附近整体周围的基础设施还是比较齐全，附近大型商场，免费下午茶 4.思维转变-从怕犯错再到勇于去尝试，只要在shein能够有想法且方案足够落地，即使会有踩坑，环境上大家还是比较包容，且结果...
SHEIN希音公司福利 370人发布
点赞 评论 收藏
分享
01-22 00:31
南京信息工程大学 Java
点赞 评论 收藏
分享
01-28 12:58
海康威视_自动化开发工程师(准入职员工)
莉莉丝游戏，莉莉丝游戏内推码
笔试面试时间：预计两周的时间 11.16▶️11.21▶️11.26（一共只有两面 最后是拿到offer） 一面-自我介绍和简历放在之前作品里面啦 1️⃣你了解我们公司有哪些产品？ 目前莉莉丝基本上是卡牌游戏的大厂！例如AFK2是近些年发布规模比较庞大的项目，AFK在卡牌领域算是常青树游戏 ，还有比较偏福瑞画风的众神派对，发家的小冰冰传奇【以及即将公测的远光84】 2️⃣你认为的游戏发行流程是什么 一个还没有进行公布的项目的话 通常会进行以下阶段 首爆-cbt1测试-23测试-公测（俗称的ob）-ob+1以这样的节奏型发行 3️⃣对你印象最深刻的营销案例是什么 这个可能会比较开放老师们可以提比...
点赞 评论 收藏
分享
评论
点赞
8
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 在大厂上班是一种什么样的体验 #
2677次浏览 37人参与
# 刚入职的你踩过哪些坑 #
2865次浏览 65人参与
# 程序员找工作至少要刷多少题？ #
5971次浏览 98人参与
# 为了减少AI幻觉，你注入过哪些设定？ #
1199次浏览 41人参与
# 论秋招对个人心气的改变 #
4181次浏览 75人参与
# 程序员能干到多少岁？ #
4334次浏览 70人参与
# 牛客AI体验站 #
2159次浏览 65人参与
# 我现在比当时_，你想录用我吗 #
2839次浏览 46人参与
# 一张图晒一下你的AI员工 #
1943次浏览 51人参与
# 关于春招/暑期实习，你想知道哪些信息？ #
2902次浏览 66人参与
# AI Coding的使用心得 #
1681次浏览 43人参与
# 软开人，秋招你打算投哪些公司呢 #
180188次浏览 1383人参与
# 晒晒你司的新年福利 #
2669次浏览 50人参与
# 实习，不懂就问 #
163546次浏览 1456人参与
# 帆软软件工作体验 #
12568次浏览 68人参与
# 简历无回复，你会继续海投还是优化再投？ #
138773次浏览 875人参与
# 从哪些方向判断这个offer值不值得去？ #
51014次浏览 348人参与
# 暑假倒计时，你都干了些啥？ #
40240次浏览 214人参与
# 校招求职有谈薪空间吗 #
204840次浏览 2360人参与
# 24届软件开发秋招薪资爆料 #
416656次浏览 1284人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务