首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
alps山
2018-05-14 21:48
东南大学 产品经理
关注
已关注
取消关注
如何处理反爬?
自己做了个爬虫,每次面试都会被问到反爬的问题,但是我用的webmagic爬取的过程中没有遇到过反爬这个问题(可能爬的比较少),想问问大家怎么处理反爬的情况(爬取大量数据),除了***ip,这个貌似不稳。
提示
全部评论
推荐
最新
楼层
江山如画君
吉林大学 golang
1. 明确网站是对单位时间访问量还是一段时间内访问总量做限制 2. ip***池,轮询 3. 修改http头模拟浏览器访问 4. 从小到大逐步提高线程数目去探测网站的临界值
点赞
回复
分享
发布于 2018-05-14 23:29
给个offer养家糊口
红棉小冰_平台工程部门_Java开发
这个。。百度一搜一大把的吧。。
1
回复
分享
发布于 2018-05-14 22:03
朱磊201805161402107
青岛科技大学 Java
分布式爬取,设置间隔时间
点赞
回复
分享
发布于 2018-05-16 16:51
朱磊201805161402107
青岛科技大学 Java
***IP
点赞
回复
分享
发布于 2018-05-16 16:50
二手牛仔裤
哔哩哔哩_Java高级研发工程师
好像有个叫布隆过滤器的结构专门处理反爬虫
点赞
回复
分享
发布于 2018-05-16 02:08
lvty
上海电子信息职业技术学院 Java
速度不要太快啊 多线程模拟随机时间 一定不要太快了 拉别人数据还要速度 就真的。。
点赞
回复
分享
发布于 2018-05-14 23:16
阿喵喵萌萌哒
南京大学 数据分析师
常见的就是 换useragent+ip,ip验证有效过后再用,不稳定的情况具体看下,一般抓取失败的网页保存下来再次请求就好。一般建议降低请求次数,如果几天能够抓完应该也在可接受范围之内。
点赞
回复
分享
发布于 2018-05-14 22:42
暂无评论,快来抢首评~
相关推荐
昨天 21:14
复旦大学 C++
求职最心累的,从来不是行情差
去年秋招行情有多烂,相信经历过的人都懂。我当时投了一堆简历,大多石沉大海,面试也是屡屡碰壁,心态崩了一次又一次。还好我爸妈特别通透,从来不会催我,一直安慰我、理解我。但比起残酷的求职行情,某些亲戚的“虚假关心”,才是真的让人窒息、内耗拉满。真的很反感一类亲戚,表面装作很关心你的样子,实际上就是到处打探底细,专门看你过得好不好,过得不好就暗地嘲讽。每次见面必盘问:找着工作没?薪资多少?在哪上班?上次家庭聚餐,有个亲戚当着好多人的面阴阳我:“念了十几年书,花那么多钱读书,到头来找工作还不如人家早早打工的,读书有啥用啊?”说实话,听完心里瞬间堵得慌。他们根本不管现在就业有多卷、应届生有多难,也不在乎...
我的求职进度条
点赞
评论
收藏
分享
05-28 13:24
上海大学 算法工程师
tlias
事务的传递不管怎么样,都需要记录日志 案例接下来我们就通过一个案例来演示下事务传播行为propagation属性的使用。需求:在新增员工信息时,无论是成功还是失败,都要记录操作日志。步骤:准备日志表 emp_log、实体类EmpLog、Mapper接口EmpLogMapper在新增员工时记录日志代码实现:业务实现类:EmpServiceImpl @Autowired private EmpMapper empMapper; @Autowired private EmpExprMapper empExprMapper; @Autowired private EmpLogService empLo...
点赞
评论
收藏
分享
04-17 18:13
门头沟学院 Java
这份简历很有问题吗?
投了很多,一直没能进面
点赞
评论
收藏
分享
04-24 11:22
南京林业大学 Java
投了一天都没人理我……27届求拷打
唉……看了眼boss真的是要跪下了,不是发拒信是看都没看的那种……充了五块钱看到一个岗位两千人投更是崩溃了,boss上这个简历匹配度到底是看什么的
牛客61476270...:
难道……难道真的要迎来人生第一次面试了吗……感谢全世界……
查看图片
点赞
评论
收藏
分享
05-24 22:42
山东大学 嵌入式软件工程师
“应该没问题”就是在给自己挖坑
开会的时候,你负责的一个数据还没有完全获取到,这时候有人问了一句:“这个确认稳定吗?”你不想把场面弄得太紧张,于是随口回答:“应该没问题。”当时觉得,自己在前面加上了“应该”两个字,属于给自己留了余地了,真聪明但实际上不是这样,别人记住的,以及留在会议纪要材料里的,应该不是“应该”,而是“没问题”等后面数据跑出来,或者项目真的出了问题了,会议纪要里的这句话就会被标黄截图发出来“你当时不是说没问题吗?”本来是不确定的,反而成了一句承诺那,这题怎么解?假如领导在场,不管这个问题是不是他提的,既然被人抛出来,就不能不接不能说“没有把握”,也不能直接说死“能”或者“不能”可以先给一个基准时间,比如:“...
SAGIMA牛马咖啡
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
27届暑期前端高频面试题汇总(字节百度阿里快手等多家大厂)
8170
2
...
字节三面
2607
3
...
美团计划裁员30%,测试和产品砍一半,测试全栈化时代来了!
1726
4
...
26前端的深夜
1265
5
...
字节实习一个月祛魅了
1042
6
...
继续实习VS暑假沉淀,怎么选....
996
7
...
你说你用Claude,你用的是 CLI,还是 Agent、Opus?
957
8
...
收到了字节的AIoffer
901
9
...
今天陌陌的笔试怎么样
897
10
...
组内的实习生走了,被发了好人卡
595
创作者周榜
更多
正在热议
更多
#
发面经攒人品
#
8928768次浏览
98970人参与
#
体制内上岸心路历程
#
39421次浏览
226人参与
#
27届实习投递记录
#
168998次浏览
1698人参与
#
担心入职之后被发现很菜怎么办
#
308099次浏览
1226人参与
#
求职遇到的搞笑事件
#
199086次浏览
1009人参与
#
你收到了团子的OC了吗
#
1640541次浏览
11870人参与
#
万物皆可发面经
#
6322次浏览
82人参与
#
扒一扒那些奇葩实习经历
#
161187次浏览
1184人参与
#
现在还是0offer,延毕还是备考
#
1434814次浏览
7969人参与
#
查收我的offer竞争力报告
#
303965次浏览
1763人参与
#
招聘要求与实际实习内容不符怎么办
#
227293次浏览
1078人参与
#
实习生的蛐蛐区
#
1013488次浏览
5167人参与
#
实习,不懂就问
#
233456次浏览
1773人参与
#
HR问:你期望的薪资是多少?如何回答
#
103479次浏览
841人参与
#
AI了,我在打一种很新的工
#
213113次浏览
2393人参与
#
父母对你找工作是助力还是阻力?
#
54476次浏览
483人参与
#
地方国企笔面经互助
#
43509次浏览
113人参与
#
秋招盘点:机械人值得去的企业
#
109065次浏览
746人参与
#
美团秋招笔试
#
222289次浏览
1203人参与
#
实习最想跑路的瞬间
#
148077次浏览
787人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务