如何处理反爬？

自己做了个爬虫，每次面试都会被问到反爬的问题，但是我用的webmagic爬取的过程中没有遇到过反爬这个问题（可能爬的比较少），想问问大家怎么处理反爬的情况（爬取大量数据），除了***ip，这个貌似不稳。
全部评论
1.  明确网站是对单位时间访问量还是一段时间内访问总量做限制 2.  ip***池，轮询 3.  修改http头模拟浏览器访问 4.  从小到大逐步提高线程数目去探测网站的临界值
点赞 回复 分享
发布于 2018-05-14 23:29
这个。。百度一搜一大把的吧。。
1 回复 分享
发布于 2018-05-14 22:03
分布式爬取，设置间隔时间
点赞 回复 分享
发布于 2018-05-16 16:51
***IP 
点赞 回复 分享
发布于 2018-05-16 16:50
好像有个叫布隆过滤器的结构专门处理反爬虫
点赞 回复 分享
发布于 2018-05-16 02:08
速度不要太快啊 多线程模拟随机时间 一定不要太快了 拉别人数据还要速度 就真的。。
点赞 回复 分享
发布于 2018-05-14 23:16
常见的就是 换useragent+ip，ip验证有效过后再用，不稳定的情况具体看下，一般抓取失败的网页保存下来再次请求就好。一般建议降低请求次数，如果几天能够抓完应该也在可接受范围之内。
点赞 回复 分享
发布于 2018-05-14 22:42

相关推荐

昨天 15:36
正浩创新EcoFlow_海外销售(准入职员工)
正浩创新内推，正浩创新内推码
📦两个部分：上班感受+公司福利～ 上班感受：快节奏 体验感十足 ⭐️ 学习：每天时间很快也很累，感觉要学的要做的东西真的太多，我会不断的向内求，如果有问题我会及时记录然后及时询问前辈，作为刚入职小白，新知识根本学不完！抽空学！ ⭐️ 通勤：住在公司附近所以步行十分钟左右，早上9:30打卡 也可以十点（如果你前一天加班到十点）奈何早上床成了我的老家😭早上必须咖一杯 一月可以迟到60m很人性化 五次补卡哈哈哈 ⭐️ 两周感悟：高效办公！合理分配时间！任务清单明确！把更多的时间花在有意义的内容上！！！抽闲暇时间做一些赶进度工作！勇敢！ ⭐️ 部门氛围：同事和leader无敌好，来的第一周就请我们...
正浩创新EcoFlow公司福利 739人发布
点赞 评论 收藏
分享
昨天 18:12
上海理工大学 产品经理
文科生能做产品经理吗？
最近收到了很多牛友的私信，其中有很多背景是非理工科的同学 ，问我如何能找到AI产品经理的实习；虽然现在AI产品越来越偏技术化，但是文科生还是有机会的，作为文科生，你的文字功底、共情能力、人文视角，恰恰可能是纯技术背景的产品经理所欠缺的优势，欠缺的技术部分可以后天学习给大家分享下学习思路，寒假春节放假在家学习，节后回来就开始投春招OR实习👇第一步：先搞懂「AI产品经理」到底是做什么的很多人以为AI产品经理=懂技术的产品经理，其实大错特错。AI产品经理的核心不是写代码，而是「定义AI能解决什么问题」——比如：怎么让AI客服更懂用户情绪？（推荐算法的「相关性」和「多样性」怎么平衡？当AI模型效果不...
AI求职实录
点赞 评论 收藏
分享
01-08 13:17
西南大学 运营
点赞 评论 收藏
分享
2025-12-12 19:06
已编辑
门头沟学院 Java
点赞 评论 收藏
分享
昨天 15:13
顺丰集团_HR(准入职员工)
卓越教育内推，卓越教育内推码
卓越助教面试经验分享参加卓越小学助教首先是要笔试（线上的），选语数英三科中的两到三科进行笔试，有80分就算过。题目很简单，就是小学六年级的知识点。然后你把成绩截图并且简历发给招聘负责人，等待面试。面试（线上微信视频通话）1.进行一个简单的自我介绍，并说出你做助教的个人优势。个人优势：担任过班委，班级管理经验。有家教经验，懂得如何和小朋友相处。2.情景问答题从2-9中选一个数字，回答对应的问题。1.到了上课时间老师还没来，你应该怎么办？先和老师联系，了解情况。然后告诉学生情况，安抚大家的情绪，带领学生拿出复习资料和课本进行学习，等待老师到达。2.如果上课过程中有孩子嬉笑打闹，你应该怎么办？分成三...
点赞 评论 收藏
分享
评论
点赞
收藏
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 在大厂上班是一种什么样的体验 #
7654次浏览 107人参与
# 机械人避雷的岗位/公司 #
42290次浏览 281人参与
# 程序员找工作至少要刷多少题？ #
13765次浏览 206人参与
# 12306一秒售罄，你抢到回家的票了吗？ #
1393次浏览 41人参与
# 我现在比当时_，你想录用我吗 #
6512次浏览 91人参与
# 过年最难忘的一件事 #
23124次浏览 174人参与
# 你最满意的offer薪资是哪家公司？ #
69604次浏览 349人参与
# 为了减少AI幻觉，你注入过哪些设定？ #
2969次浏览 99人参与
# 牛客AI体验站 #
5192次浏览 154人参与
# AI Coding的使用心得 #
3732次浏览 92人参与
# 找工作的破防时刻 #
253375次浏览 1962人参与
# 刚入职的你踩过哪些坑 #
5660次浏览 113人参与
# 论秋招对个人心气的改变 #
7732次浏览 132人参与
# 一张图晒一下你的AI员工 #
3854次浏览 82人参与
# 关于春招/暑期实习，你想知道哪些信息？ #
5771次浏览 99人参与
# 黄金这个事上，你学到了什么 #
1408次浏览 41人参与
# 机械人你知道哪些单休企业 #
85637次浏览 428人参与
# 程序员能干到多少岁？ #
7151次浏览 105人参与
# 晒晒你司的新年福利 #
5845次浏览 90人参与
# 关于提前批我想问 #
267767次浏览 2308人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务