首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
alps山
2018-05-14 21:48
东南大学 产品经理
关注
已关注
取消关注
如何处理反爬?
自己做了个爬虫,每次面试都会被问到反爬的问题,但是我用的webmagic爬取的过程中没有遇到过反爬这个问题(可能爬的比较少),想问问大家怎么处理反爬的情况(爬取大量数据),除了***ip,这个貌似不稳。
提示
全部评论
推荐
最新
楼层
江山如画君
吉林大学 golang
1. 明确网站是对单位时间访问量还是一段时间内访问总量做限制 2. ip***池,轮询 3. 修改http头模拟浏览器访问 4. 从小到大逐步提高线程数目去探测网站的临界值
点赞
回复
分享
发布于 2018-05-14 23:29
给个offer养家糊口
红棉小冰_平台工程部门_Java开发
这个。。百度一搜一大把的吧。。
1
回复
分享
发布于 2018-05-14 22:03
朱磊201805161402107
青岛科技大学 Java
分布式爬取,设置间隔时间
点赞
回复
分享
发布于 2018-05-16 16:51
朱磊201805161402107
青岛科技大学 Java
***IP
点赞
回复
分享
发布于 2018-05-16 16:50
二手牛仔裤
哔哩哔哩_Java高级研发工程师
好像有个叫布隆过滤器的结构专门处理反爬虫
点赞
回复
分享
发布于 2018-05-16 02:08
lvty
上海电子信息职业技术学院 Java
速度不要太快啊 多线程模拟随机时间 一定不要太快了 拉别人数据还要速度 就真的。。
点赞
回复
分享
发布于 2018-05-14 23:16
阿喵喵萌萌哒
南京大学 数据分析师
常见的就是 换useragent+ip,ip验证有效过后再用,不稳定的情况具体看下,一般抓取失败的网页保存下来再次请求就好。一般建议降低请求次数,如果几天能够抓完应该也在可接受范围之内。
点赞
回复
分享
发布于 2018-05-14 22:42
暂无评论,快来抢首评~
相关推荐
04-09 09:31
门头沟学院 Java
烂工作vs没工作,没有绝对的谁更痛苦,只有谁更适配你的现状
先给核心结论:没有绝对的谁更痛苦,只有谁更适配你的现状。从长期职业发展来看,烂工作的隐性伤害远大于没工作;从短期生存来看,烂工作能帮你渡过生存危机,比没工作更现实。作为在互联网行业做了6年技术管理,带过十几届校招新人,见过太多应届生因为选错了第一份工作,职业发展走了好几年弯路;也见过很多人在家待业半年,靠沉淀和学习,最终逆袭大厂。今天就从全维度拆解两种选择的本质、伤害、适用场景,给所有应届生和职场新人一份可落地的选择指南。一、全维度对比:烂工作和没工作,到底在消耗你什么?我用表格把两种选择的核心影响,拆解得明明白白,一眼就能看清区别:核心痛苦来源日复一日的精神内耗、无意义的机械劳动、职场PUA...
烂工作和没工作哪个更痛苦...
点赞
评论
收藏
分享
昨天 15:32
门头沟学院 Java
韶音科技一面
在ssob上沟通的hr,没想到居然直接约面试了,赶紧准备了一下项目,希望不会被拷打结果面试是HR面,就是问了一些校园经历、项目经历、高考分数、家庭状况之类的,白准备了,纯聊天来的反问环节我问他们java岗是做什么业务的,hr说是开发什么中台来的,搞不太懂,毕竟我的项目基本是Redis高并发订单处理的商城系统有没有牛友知道这是干啥的
查看5道真题和解析
点赞
评论
收藏
分享
03-07 17:26
阜阳师范大学 Java
想找27暑期实习,有人会要我吗
现在好多技术都在学,项目还在搞,但是害怕时间太晚来不及了,只要有人要我就可以了小厂也可以,佬佬帮我看一下😭😭
奔跑的suechil...:
边投边学啊哥们,小厂进了还能带薪学习不也挺不错的
不过你这绩点不考研浪费了吧
简历中的项目经历要怎么写
点赞
评论
收藏
分享
03-24 17:57
门头沟学院 Java
还内推到我微信了
yakuso:
你这头像哈哈哈
点赞
评论
收藏
分享
04-07 00:30
门头沟学院 C++
横乐医疗科技 QT开发实习 一面
1. C++11 之后你常用的新特性有哪些,分别解决了什么问题答案:比较常用的有 auto、范围 for、右值引用、移动语义、nullptr、lambda、thread、mutex、condition_variable、atomic、smart pointer、constexpr、optional、variant、结构化绑定这些。如果放到工程里看,真正高频的还是几类:一类是语法层降噪,比如 auto、lambda、结构化绑定;一类是资源管理和性能相关,比如移动语义、智能指针、完美转发;一类是并发库和原子操作;再往后像 constexpr、filesystem、string_view 这种更多是...
C++ 常考面试题总结
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
翼支付近两年真实体验
3603
2
...
过来人聊聊对招商银行数字金融训练营的感受
3247
3
...
美团前端考察AI coding出的题是周报生成?
1660
4
...
字节剪映123面全面经
1653
5
...
工作一年,聊聊对Agent开发的感受
1195
6
...
总拜倒在大厂二面是为什么啊。。。
1017
7
...
因为上班玩手机被开除😭
960
8
...
2026春招北京奈亚信息技术有限公司
946
9
...
恒生电子一面只面了20min
685
10
...
灵犀互娱 游戏客户端开发 一面
594
创作者周榜
更多
正在热议
更多
#
父母问你工作找得怎么样,怎么回
#
8370次浏览
118人参与
#
面试被问期望薪资时该如何回答
#
389578次浏览
2176人参与
#
厦门银行科技岗值不值得投
#
19673次浏览
427人参与
#
哪些公司面试还在问八股?
#
3926次浏览
43人参与
#
想从事Agent应该学习哪些技术?
#
1701次浏览
55人参与
#
从投递到OC,你用了多久
#
8472次浏览
74人参与
#
你的秋招第一面感觉怎么样
#
146768次浏览
821人参与
#
有哪些公司在面试时考察AICoding?
#
3074次浏览
42人参与
#
什么人最适合大厂?
#
4297次浏览
39人参与
#
你觉得机械有必要实习吗
#
82163次浏览
515人参与
#
HR面都在聊什么?
#
2862次浏览
42人参与
#
AI时代还有必要刷leetcode吗?
#
1724次浏览
29人参与
#
哪一刻你突然觉得实习“有点值了”
#
6933次浏览
53人参与
#
kpi面有什么特征
#
106088次浏览
504人参与
#
硬件人的简历怎么写
#
341271次浏览
3120人参与
#
一人一道大厂面试题
#
133348次浏览
1331人参与
#
稳定和高薪机械人更看重哪个?
#
582456次浏览
5568人参与
#
总结:哪家公司最喜欢泡池子
#
171692次浏览
620人参与
#
四大天坑是哪四家?
#
113820次浏览
246人参与
#
计算机有哪些岗位值得去?
#
395258次浏览
2928人参与
#
哪些公司一直卡在简历筛选
#
109889次浏览
384人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务