爬虫老司机看过来，请教个问题
最近在用Java爬知乎，买的阿布云的***。但是爬虫速度大概在一小时一万条左右，几百万的数据得几百小时啊，感觉有点慢。。请问下各位爬虫速度大概在多少？目前开更多线程速度也没提升，是不是我用的***ip池每秒ip数太少呢，目前不知道怎么优化
2017-04-28 10:39 电子科技大学 Java
关注
全部评论
向宇同桌
牛客网创始人
我在自己的台式机i5配置上爬过微博，一天差不多是1000w个页面，你这个速度太慢了。是不是爬重复了?多线程我开了20个线程。
主要还是要爬取解析入库等各个步骤异步分开。 建议用框架爬取吧，自己写会比较慢。不过自己写技术会更提高~~
相关推荐
投递字节跳动等公司8个岗位 点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
07-07 11:27
双非25想找富婆不想...：不至于吧
，都家附近了，你直接线下去面它，带上你的纸质简历
，都家附近了，你直接线下去面它，带上你的纸质简历 点赞 评论 收藏
分享