首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
课程
专栏·文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
WISING
2017-04-18 10:20
已编辑
Java
关注
已关注
取消关注
知乎爬虫问题求指导!
最近在学爬虫,想爬知乎的用户,思路是从一个用户的被关注列表里面获取关注该用户的其它用户,采用广度优先的原则,将用户的url放到一个unvisited队列中,问题来了:比如轮子哥的关注有几十万,这个页面的用户全部加入到队列中的时间非常长,用单线程的时间全在等待加入队列上了,等这个页面的用户全部入队之后才出队爬取下一个页面。所以需要使用多线程,在入队时,其它线程继续爬取页面,但是Java多线程不太熟,请问下多线程的思路~~谢谢
提示
全部评论
推荐
最新
楼层
小小
C++
这不是生产者和消费者嘛😆
点赞
送花
回复
分享
发布于 2017-04-17 20:19
笑长
C++
为什么要从被关注列表里取数据呢,从关注列表里取不更好吗,每个人关注的用户是有限可控的。 可以用一个任务队列+unvisited队列,主线程负责从unvisited队列里取url将用户信息存入数据库,并将该用户的关注列表链接和页码数作为参数压入任务队列,辅线程不断从任务队列里取数据并把所关注用户的url压入unvisited队列。 关键做好同步和去重。
点赞
送花
回复
分享
发布于 2017-04-17 20:34
网易互娱
校招火热招聘中
官网直投
brianway
Java
可以参考我做的:https://github.com/brianway/webporter
点赞
送花
回复
分享
发布于 2017-04-17 21:00
就只面了腾讯一家公司
Java
6度原理告诉我们,你从一个知乎用户开始爬取就可以爬到所有用户信息。其实在微观上看就是多叉树,宏观上看是网状图。能处理好图的遍历就行
点赞
送花
回复
分享
发布于 2017-04-18 07:35
网易互娱
校招火热招聘中
官网直投
相关推荐
涛哥聊大厂
05-22 22:31
大数据开发工程师
本科的时候华为给我13级,三年后研究生还是13级,纠结去不去
最近有个同学吐槽,之前本科的时候拿到华为开发华为,给了13级,后来保守研究生,现在毕业了,拿到offer,依然是13级。到手的工作瞬间不香了,感觉有点郁闷,研究生是不是白上了。大厂的职级制度都类似大厂职级基本都是固定好的,无论本科生研究生,只要是非特别优秀那种,基本都是最低级别,都是一视同仁的,不会按学历划分,而是按能力划分。华为起始职级13级,百度4级,腾讯5级,阿里5级。除非个别优秀的极小部分优秀的会加级别,比如之前团队来了两个北大毕业的,一个博士,拿到华为天才少年offer,给了9级,但另一个北大的硕士,还是最起始级5级。所以在级别上,无论你自己觉得多优秀,只要不被认定为特殊人才,基本在...
投递华为等公司10个岗位 >
校招过来人的经验分享
我的求职思考
点赞
评论
收藏
转发
赛文X
05-19 17:46
已编辑
腾讯_TEG_后台开发
【平庸人生】一个普通人的自述
江湖流传的CS学生就业速览:第一步 高考报志愿二本计算机>985文科 第二步 C语言程序设计(谭浩强) 数据结构(严蔚敏)第三步 bilibili大学 第四步 各种管理系统 第五步 BOSS直聘已读不回 第六步 小厂也是厂 3000我也干 第七步 半年实习生 一生java情第八步 失业转行 码农烧烤 第九步 寻求机会 码农探花前言上面是自嘲的最坏结果真实大部分人都是平平淡淡的过好这一生,以下纯AI虚构信息,如果想对号入座,那就是赛文第一章 内向童年小县城出身的我,比起出生在乡村的同辈人至少不会出现:初中没毕业辍学、或者高中分类招生,不过在班上的我成绩中等,性格内向。社交水平趋...
赛文の后花园
校招过来人的经验分享
点赞
评论
收藏
转发
26加瓦鼠鼠
05-07 08:56
莆田学院 计算机类
够了
😫 #沉淀# #黑皮体育生#
点赞
评论
收藏
转发
Stupid_Pig
03-28 19:01
广州应用科技学院 计算机类
小峰啊 你还是太年轻了
点赞
评论
收藏
转发
s8x
昨天 23:48
已编辑
门头沟学院 化工与制药类
美团一面
ps:有没有哥们会那个sql题
美团一面881人在聊
查看1道真题和解析
点赞
评论
收藏
转发
点赞
收藏
评论
分享
回复帖子
提到的真题
返回内容
全站热榜
1
...
突然发现自己根本不喜欢互联网
5438
2
...
听劝,改简历不能改命,但能增加机会
4859
3
...
快手国际化 java一面 25届暑期
4280
4
...
25届秋招迫在眉睫但也不用太🍌🟢
3748
5
...
58同城面经
3645
6
...
周一就入职了,go语言一点没学
3178
7
...
腾讯面王,挑战最多面试次数!十五面,六个事业群全涉及
3158
8
...
暑期实习0 offer
2988
9
...
计算机专业的爽了,彻底爽了
2736
10
...
求助帮选offer!快手还是字节
2654
正在热议
#
牛客帮帮团来啦!有问必答
#
884291次浏览
13969人参与
#
机械制造薪资爆料
#
327119次浏览
3804人参与
#
晒一晒我的offer
#
3535544次浏览
55876人参与
#
金三银四,你有感觉到吗
#
336551次浏览
4289人参与
#
大家都开始春招面试了吗
#
270736次浏览
3966人参与
#
求职遇到的搞笑事件
#
20128次浏览
293人参与
#
我发现了面试通关密码
#
358758次浏览
6744人参与
#
投了多少份简历才上岸
#
62261次浏览
994人参与
#
24届软开秋招面试经验大赏
#
1073365次浏览
17056人参与
#
面试题刺客退退退
#
47320次浏览
871人参与
#
如何缓解入职前的焦虑
#
38671次浏览
390人参与
#
0offer是寒冬太冷还是我太菜
#
435253次浏览
4987人参与
#
我在牛爱网找对象
#
51800次浏览
343人参与
#
在国企工作的人,躺平了吗?
#
101050次浏览
1284人参与
#
你的秋招进行到哪一步了
#
374659次浏览
6452人参与
#
机械人,你的秋招第一份简历被谁挂了
#
34409次浏览
581人参与
#
25届如何提前做秋招准备?
#
6880次浏览
192人参与
#
国企vs私企,你更想去?
#
26432次浏览
296人参与
#
校招入职后的感受
#
56782次浏览
1029人参与
#
你觉得找工作该拿大厂还是小厂练手
#
64200次浏览
906人参与
牛客网
牛客企业服务