首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
alps山
2018-05-14 21:48
东南大学 产品经理
关注
已关注
取消关注
如何处理反爬?
自己做了个爬虫,每次面试都会被问到反爬的问题,但是我用的webmagic爬取的过程中没有遇到过反爬这个问题(可能爬的比较少),想问问大家怎么处理反爬的情况(爬取大量数据),除了***ip,这个貌似不稳。
提示
全部评论
推荐
最新
楼层
江山如画君
吉林大学 golang
1. 明确网站是对单位时间访问量还是一段时间内访问总量做限制 2. ip***池,轮询 3. 修改http头模拟浏览器访问 4. 从小到大逐步提高线程数目去探测网站的临界值
点赞
回复
分享
发布于 2018-05-14 23:29
给个offer养家糊口
红棉小冰_平台工程部门_Java开发
这个。。百度一搜一大把的吧。。
1
回复
分享
发布于 2018-05-14 22:03
朱磊201805161402107
青岛科技大学 Java
分布式爬取,设置间隔时间
点赞
回复
分享
发布于 2018-05-16 16:51
朱磊201805161402107
青岛科技大学 Java
***IP
点赞
回复
分享
发布于 2018-05-16 16:50
二手牛仔裤
哔哩哔哩_Java高级研发工程师
好像有个叫布隆过滤器的结构专门处理反爬虫
点赞
回复
分享
发布于 2018-05-16 02:08
lvty
上海电子信息职业技术学院 Java
速度不要太快啊 多线程模拟随机时间 一定不要太快了 拉别人数据还要速度 就真的。。
点赞
回复
分享
发布于 2018-05-14 23:16
阿喵喵萌萌哒
南京大学 数据分析师
常见的就是 换useragent+ip,ip验证有效过后再用,不稳定的情况具体看下,一般抓取失败的网页保存下来再次请求就好。一般建议降低请求次数,如果几天能够抓完应该也在可接受范围之内。
点赞
回复
分享
发布于 2018-05-14 22:42
暂无评论,快来抢首评~
相关推荐
今天 14:43
已编辑
门头沟学院 测试工程师
爱莫科技——测试工程师(社招)
时间:2026.2.26一面(测试组长面,线下面,15min):1.自我介绍2.实习、工作,项目经历3.做过自动化吗4.用例是自己写的还是别人写好你执行5.怎么测多模态模型6.为什么选择做测试而不是开发7.了解我们公司的产品吗,说一下8.上一家公司离职的原因9.看你有一段时间是gap期,这段时间在做什么(雷区,千万不要答考公)10.反问 年后第一场面试,状态极差,有gap期绝对不能答考公,只能回答学习、考研下岸等之类的,面试官听到“考公”两字直接没有任何耐心,而且也对我简历上的东西不感兴趣,最后连简历都不收还给我了,15分钟秒挂#牛客AI配图神器#
点赞
评论
收藏
分享
05-25 11:50
华为_HR
华为OD机考考点揭秘|题型分布 + 高频考点 + 必刷方向
备考机考正在刷题的小伙伴看过了!与完毕给大家整理了一份OD 机考完整考点体系,从题型分值、一星基础考点到二星重难点全覆盖,备考直接照着啃考点刷题就行,不走弯路!一、机考基础规则先理清考题配置:3 道编程题,分值 100、100、200,满分 400 分,150 分即可通关考试时长:150 分钟,不用每题跑满所有测试用例,凑够分数就行难度分布:2 道一星基础题 + 1 道二星难题,时间合理分配,三题尽量都提交,轻松凑分过线评分规则:按测试用例通过率给分,代码不完全 AC 也能拿部分分数,没时间写完写思路框架也能得分二、一星题必考高频考点(基础拿分核心)一星题是保底关键,难度低、题型固定,拿下就能...
点赞
评论
收藏
分享
04-18 23:00
湖南人文科技学院 Java
春招没上岸,只有一个面试,想问问大家双非学院本JAVA的行情怎么样
你已经投递多少份简历了
点赞
评论
收藏
分享
04-11 10:38
电子科技大学 Java
我这算双九简历吗?
项目很垃圾就是外卖加点评,想在成都找个中小厂实习(如果能去大厂更好但是我感觉我不行),实习到9月份开学,现在准备开始背八股,力扣刷了20多道,机会大不大?
牛客100866号技...:
把电科加粗,把电科加粗,把电科加粗,两个吊车尾的项目合并成一个,再加一个管理系统。电科✌🏻在成都面中厂手拿把掐
点赞
评论
收藏
分享
05-25 00:11
已编辑
内蒙古师范大学 人工智能
Ai Agent、ai应用开发面经面试题
一些自己在网上搜刮的面经题目路过的牛爷爷可以试着答一答,附上自己的答案,如果有更好的答案也可以拷打我,如果有别的比较好的题目也可以评论里发一发。 Agent是什么?一个 Agent 系统一般由哪些模块组成? Agent是具备规划、记忆、工具调用、自我执行能力的系统 Tool 是什么?什么样的功能应该做成 Tool? tool是提供给Agent的函数,大语言模型不能独立完成的任务以及需要实时性的能力应该做成Tool Memory 分几种?Short-term / Long-term memory 怎么实现? 最基本的记忆分为短期记忆记忆长期记忆,在此基础上又扩展出了指令记忆以及工作记忆 指令记...
java_xiaoj...:
再多一点,这些已经太简单了吧
查看9道真题和解析
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
27届暑期前端高频面试题汇总(字节百度阿里快手等多家大厂)
6131
2
...
字节三面
1879
3
...
美团计划裁员30%,测试和产品砍一半,测试全栈化时代来了!
1354
4
...
26前端的深夜
1288
5
...
今天陌陌的笔试怎么样
982
6
...
你说你用Claude,你用的是 CLI,还是 Agent、Opus?
970
7
...
字节实习一个月祛魅了
958
8
...
继续实习VS暑假沉淀,怎么选....
903
9
...
收到了字节的AIoffer
813
10
...
5.17华为od记录,两年过得好快
604
创作者周榜
更多
正在热议
更多
#
实习生的蛐蛐区
#
1012837次浏览
5159人参与
#
体制内上岸心路历程
#
39351次浏览
226人参与
#
发面经攒人品
#
8924542次浏览
98929人参与
#
担心入职之后被发现很菜怎么办
#
307948次浏览
1226人参与
#
27届实习投递记录
#
168440次浏览
1690人参与
#
求职遇到的搞笑事件
#
198584次浏览
1003人参与
#
你收到了团子的OC了吗
#
1640366次浏览
11869人参与
#
万物皆可发面经
#
6182次浏览
80人参与
#
扒一扒那些奇葩实习经历
#
161134次浏览
1184人参与
#
现在还是0offer,延毕还是备考
#
1434649次浏览
7969人参与
#
查收我的offer竞争力报告
#
303904次浏览
1763人参与
#
招聘要求与实际实习内容不符怎么办
#
227230次浏览
1078人参与
#
实习,不懂就问
#
233232次浏览
1773人参与
#
HR问:你期望的薪资是多少?如何回答
#
103457次浏览
841人参与
#
AI了,我在打一种很新的工
#
212927次浏览
2386人参与
#
父母对你找工作是助力还是阻力?
#
54283次浏览
480人参与
#
地方国企笔面经互助
#
43492次浏览
113人参与
#
秋招盘点:机械人值得去的企业
#
109056次浏览
746人参与
#
美团秋招笔试
#
222253次浏览
1203人参与
#
实习最想跑路的瞬间
#
148038次浏览
787人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务