首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
WISING
2017-04-28 10:39
电子科技大学 Java
关注
已关注
取消关注
爬虫老司机看过来,请教个问题
最近在用Java爬知乎,买的阿布云的***。但是爬虫速度大概在一小时一万条左右,几百万的数据得几百小时啊,感觉有点慢。。请问下各位爬虫速度大概在多少?目前开更多线程速度也没提升,是不是我用的***ip池每秒ip数太少呢,目前不知道怎么优化
提示
全部评论
推荐
最新
楼层
向宇同桌
牛客网创始人
我在自己的台式机i5配置上爬过微博,一天差不多是1000w个页面,你这个速度太慢了。是不是爬重复了?多线程我开了20个线程。 主要还是要爬取解析入库等各个步骤异步分开。 建议用框架爬取吧,自己写会比较慢。不过自己写技术会更提高~~
点赞
回复
分享
发布于 2017-04-28 10:47
暂无评论,快来抢首评~
相关推荐
昨天 11:15
中南大学 Java
和hr姐姐聊起了同性话题
好可爱的hr姐姐哈哈哈哈
黑皮白袜臭脚体育生:
兄弟们貂蝉在一起,吕布开了
点赞
评论
收藏
分享
07-10 12:27
上海大学 产品经理
哇塞 好多26提前批
已经有这么多提前批已经开始啦26的uu们可以多关注一下
点赞
评论
收藏
分享
05-13 18:01
字节跳动-TIK TOK_测试开发
字节食堂
昨晚的虾和今天的潮汕牛肉锅。不允许外带的政策不嘻嘻
ZywOo_求职版:
谁问你了....
投递字节跳动等公司8个岗位
点赞
评论
收藏
分享
06-09 11:28
湖北师范大学 Java
招黑奴呢
醉蟀:
你不干有的是人干
点赞
评论
收藏
分享
不愿透露姓名的神秘牛友
07-07 11:27
可是,我脱了长衫也没人要啊...
已经来杭一个月了,这一个月我投了无数的简历,包括但不限于:导购员、餐饮服务员、便利店店员、奶茶店店员、超市收银...我就想找一个通勤1小时内交社保到手3-4k的工作就这么难吗?我甚至可以接受单休加班夜班...
双非25想找富婆不想...:
不至于吧
,都家附近了,你直接线下去面它,带上你的纸质简历
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
5
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
四段实习终大厂 如此牺牲为哪般
2.5W
2
...
双非二本靠一张嘴拿下美团
1.3W
3
...
小红书二面(第二天oc)
6014
4
...
突然对上流社会祛魅了
5930
5
...
儿时记忆在梦中闪回,一觉醒来继续做“大人”
3212
6
...
秋招这就要开始了吗
2878
7
...
大疆测评流程分享
2700
8
...
作为hr,已被求职者整疯
2381
9
...
死喽,面试前因为网名被HR制裁咯
2323
10
...
OMG,超雄hr
2267
创作者周榜
更多
正在热议
更多
#
你认为小厂实习有用吗?
#
13934次浏览
186人参与
#
面试官是我前女友
#
107016次浏览
731人参与
#
实习生的蛐蛐区
#
40343次浏览
329人参与
#
当你面对裁员会如何?
#
275962次浏览
2438人参与
#
计算机有哪些岗位值得去?
#
12977次浏览
134人参与
#
lastday知无不言
#
56889次浏览
460人参与
#
在职场上,你最讨厌什么样的同事
#
14478次浏览
150人参与
#
推荐一首陪你工作的歌吧
#
14021次浏览
97人参与
#
说说你知道的学历厂
#
28346次浏览
178人参与
#
你找工作的时候用AI吗?
#
14930次浏览
193人参与
#
下班后的时间你怎么安排
#
7497次浏览
111人参与
#
哪一瞬间觉得自己长大了
#
7271次浏览
167人参与
#
携程求职进展汇总
#
559443次浏览
4258人参与
#
面试尴尬现场
#
23951次浏览
164人参与
#
工作后会跟朋友渐行渐远吗
#
30057次浏览
216人参与
#
中核求职进展汇总
#
20146次浏览
152人参与
#
社会教会你的第一课
#
29437次浏览
396人参与
#
多益网络工作体验
#
49655次浏览
280人参与
#
虾皮求职进展汇总
#
244186次浏览
1797人参与
#
神州信息工作体验
#
16026次浏览
75人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务