爬虫老司机看过来，请教个问题

最近在用Java爬知乎，买的阿布云的***。但是爬虫速度大概在一小时一万条左右，几百万的数据得几百小时啊，感觉有点慢。。请问下各位爬虫速度大概在多少？目前开更多线程速度也没提升，是不是我用的***ip池每秒ip数太少呢，目前不知道怎么优化
全部评论
我在自己的台式机i5配置上爬过微博，一天差不多是1000w个页面，你这个速度太慢了。是不是爬重复了?多线程我开了20个线程。 主要还是要爬取解析入库等各个步骤异步分开。 建议用框架爬取吧，自己写会比较慢。不过自己写技术会更提高~~
点赞 回复 分享
发布于 2017-04-28 10:47

相关推荐

06-18 14:44
沈阳师范大学 Java
HR这是想干啥？
我面试，她问我有女朋友没
不太迷人的反派_：不过对象，还会结合你老家，意向城市等等，看你是否稳定。哥们，别多想
点赞 评论 收藏
分享
06-19 12:34
江西理工大学 Java
点赞 评论 收藏
分享
06-19 17:37
已编辑
西安电子科技大学 算法工程师
这个收入还可以吧！
牛客848095834号：举报了
点赞 评论 收藏
分享
05-27 01:51
湖南工学院 硬件开发
点赞 评论 收藏
分享
06-18 12:22
苏州大学 设计
点赞 评论 收藏
分享
评论
点赞
5
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 你找实习最大的坎坷是什么 #
24031次浏览 300人参与
# 蔚来工作体验 #
17910次浏览 67人参与
# 实习最想跑路的瞬间 #
17658次浏览 135人参与
# 如果可以，你希望哪个公司来捞你 #
91269次浏览 382人参与
# 我的职场心眼子段位 #
16282次浏览 449人参与
# 机械/汽车制造公司爆料 #
40239次浏览 208人参与
# 比亚迪精密制造工作体验 #
19732次浏览 39人参与
# 比亚迪工作体验 #
58339次浏览 235人参与
# 机械制造公司评价 #
118031次浏览 302人参与
# 理想汽车工作体验 #
30538次浏览 274人参与
# 对妈妈没说出口的话 #
45026次浏览 761人参与
# 大疆今年的机械笔试难吗？ #
40973次浏览 452人参与
# 机械制造2023笔面经 #
118609次浏览 756人参与
# 春招别灰心，我们一人来一句鼓励 #
113051次浏览 1294人参与
# 秋招投简历越早越好吗 #
66440次浏览 630人参与
# 这些公司卡简历很严格 #
37941次浏览 190人参与
# 职业发展规划如何回答 #
37960次浏览 236人参与
# 我的求职精神状态 #
90560次浏览 1051人参与
# 市场营销人求职交流聚集地 #
120755次浏览 1089人参与
# 机械人，你被简历秒挂的企业有哪些？ #
41047次浏览 275人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务