首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
课程
专栏·文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
WISING
2017-04-18 10:20
已编辑
Java
关注
已关注
取消关注
知乎爬虫问题求指导!
最近在学爬虫,想爬知乎的用户,思路是从一个用户的被关注列表里面获取关注该用户的其它用户,采用广度优先的原则,将用户的url放到一个unvisited队列中,问题来了:比如轮子哥的关注有几十万,这个页面的用户全部加入到队列中的时间非常长,用单线程的时间全在等待加入队列上了,等这个页面的用户全部入队之后才出队爬取下一个页面。所以需要使用多线程,在入队时,其它线程继续爬取页面,但是Java多线程不太熟,请问下多线程的思路~~谢谢
提示
全部评论
推荐
最新
楼层
小小
C++
这不是生产者和消费者嘛😆
点赞
回复
分享
发布于 2017-04-17 20:19
笑长
C++
为什么要从被关注列表里取数据呢,从关注列表里取不更好吗,每个人关注的用户是有限可控的。 可以用一个任务队列+unvisited队列,主线程负责从unvisited队列里取url将用户信息存入数据库,并将该用户的关注列表链接和页码数作为参数压入任务队列,辅线程不断从任务队列里取数据并把所关注用户的url压入unvisited队列。 关键做好同步和去重。
点赞
回复
分享
发布于 2017-04-17 20:34
滴滴
校招火热招聘中
官网直投
brianway
Java
可以参考我做的:https://github.com/brianway/webporter
点赞
回复
分享
发布于 2017-04-17 21:00
就只面了腾讯一家公司
Java
6度原理告诉我们,你从一个知乎用户开始爬取就可以爬到所有用户信息。其实在微观上看就是多叉树,宏观上看是网状图。能处理好图的遍历就行
点赞
回复
分享
发布于 2017-04-18 07:35
滴滴
校招火热招聘中
官网直投
相关推荐
ican_even
04-28 11:48
蚌埠坦克学院 哲学类
美团面经
面试官介绍团队业务和技术做个自我介绍怎么学前端的(面试官直接指出了我学习方法的一些欠缺之处,非常感谢他)计算机网络相关的:http缓存,csrf,xss(csrf 和 xss 没看过,然后面试官就开始说这就是只看文档和博客不好的地方,像这些知识要多去形成一个体系,虽然被问了而且没答出来,但还是再次感谢他)你理解的 vue 和 react 有使用上什么区别(我回答了状态管理和重新渲染)react 自己的状态管理是不可变对象,mobx 这样的状态管理是可变对象,是怎么实现的呢你说 react 默认是全量更新,vue 是局部更新,那么 vue 是怎么做依赖收集的什么时候用全局状态管理...
点赞
评论
收藏
转发
GeekPower极客力量
04-30 21:51
华为_数据通信_C++开发工程师
腾讯实习后端c++一面-2024.4.29
你这两个项目觉得有什么比较难的地方吗?为什么会采用这样的技术栈?对是的。这个项目你在其中是做哪些部分?你可以说一下你在华为做的是一些什么。我应该问的是常用的。你说一下虚函数它是怎么实现的?你了解c++11的一些特性吗?你知道怎么在main函数之前去执行的函数。你知道大小端吗?你知道什么是死锁吗?怎么解决死锁的问题?你知道用户态和核心态的区别是什么?比如说从用户上调用到核心看它的一个过程是怎么样的。你了解过采用的设计模式有哪些?所以可能基础这方面可能欠缺一些,对。你有听说过观察者模式吗?好,你说一下循环和并归哪个效率更高?你说下面快速排序是怎么样的?你windows编程相关的了解的多吗?比如说我...
点赞
评论
收藏
转发
找找找吧
04-03 23:24
江西理工大学 自动化类
花200块刚改的简历,找暑假实习,boss上投了挺多了没人回,实习僧上断断续续的有人看没人理,还有啥平台,好慌呀,万一找不到实习怎么办
点赞
评论
收藏
转发
被普调的熊猫很想去毕业旅行
03-14 15:34
算法工程师
985本硕,这样的简历能不能找一家暑期算
点赞
评论
收藏
转发
牧歌-
04-30 17:35
电气工程师
三一集团研发岗待遇怎么样?
待遇还算不错,除了正常的薪资外,公司还有研发项目奖金,数额相当可观,如果在项目中表现出色,很有可能获得额外奖金。优势在于学习成长空间大,能够锻炼个人能力,收入也相对较高。但是工作中也存在一定压力,特别是在研发项目的推进过程中。不过三一相对来说比较难进,特别是像制造业这种有技术含量的职位,需要通过多轮面试筛选,但是一旦进入公司,待遇比其他中小型企业要高不少。
投递三一集团等公司8个岗位 >
点赞
评论
收藏
转发
点赞
收藏
评论
分享
回复帖子
全站热榜
1
...
毕业
7572
2
...
【薪资计算】SS Is All You Need
5982
3
...
【奖💰】通信硬件薪资爆料②
5366
4
...
浅谈一下今年暑期实习形势
4750
5
...
学弟们听劝,不要学后端
4436
6
...
计算机就业,别卷绩点,这是最大的信息差
3988
7
...
双非大学四年Apache PPMC 拿过大厂offer考研.
3820
8
...
双非硕士的出路
3373
9
...
阿里饿了么意向
3355
10
...
22届211工科考浙大失败不知道咋找工作了,有没有佬给点建议
3197
正在热议
#
牛客帮帮团来啦!有问必答
#
465067次浏览
8421人参与
#
你想对下半年说点什么
#
5470次浏览
131人参与
#
2022届毕业生现状
#
293204次浏览
4162人参与
#
找不到好工作选择GAP真的丢人吗
#
8497次浏览
86人参与
#
许愿池
#
68856次浏览
1495人参与
#
非技术岗是怎么找实习的
#
67271次浏览
1320人参与
#
没有实习经历,还有机会进大厂吗
#
280262次浏览
5798人参与
#
实习好累,可以辞职全力准备秋招吗
#
4072次浏览
76人参与
#
参加过提前批的机械人,你们还参加秋招么
#
9599次浏览
303人参与
#
市场营销面经
#
2359次浏览
86人参与
#
2023开工大吉
#
11140次浏览
653人参与
#
互联网公司评价
#
68310次浏览
949人参与
#
华为开奖那些事
#
654033次浏览
5712人参与
#
我的成功项目解析
#
74278次浏览
2185人参与
#
双非本科求职如何逆袭
#
182299次浏览
2705人参与
#
产品实习,你更倾向大公司or小公司
#
32580次浏览
506人参与
#
你们的毕业论文什么进度了
#
501627次浏览
5209人参与
#
数据人offer决赛圈怎么选
#
38460次浏览
673人参与
#
产品薪资爆料
#
30641次浏览
524人参与
#
担心入职之后被发现很菜怎么办
#
27448次浏览
241人参与
牛客网
牛客企业服务