我在自己的台式机i5配置上爬过微博,一天差不多是1000w个页面,你这个速度太慢了。是不是爬重复了?多线程我开了20个线程。 主要还是要爬取解析入库等各个步骤异步分开。 建议用框架爬取吧,自己写会比较慢。不过自己写技术会更提高~~
点赞 3

相关推荐

再懒也要睡懒觉:大学4年玩的挺爽的哈😅
点赞 评论 收藏
分享
牛客网
牛客网在线编程
牛客网题解
牛客企业服务