首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
alps山
2018-05-14 21:48
东南大学 产品经理
关注
已关注
取消关注
如何处理反爬?
自己做了个爬虫,每次面试都会被问到反爬的问题,但是我用的webmagic爬取的过程中没有遇到过反爬这个问题(可能爬的比较少),想问问大家怎么处理反爬的情况(爬取大量数据),除了***ip,这个貌似不稳。
提示
全部评论
推荐
最新
楼层
江山如画君
吉林大学 golang
1. 明确网站是对单位时间访问量还是一段时间内访问总量做限制 2. ip***池,轮询 3. 修改http头模拟浏览器访问 4. 从小到大逐步提高线程数目去探测网站的临界值
点赞
回复
分享
发布于 2018-05-14 23:29
给个offer养家糊口
红棉小冰_平台工程部门_Java开发
这个。。百度一搜一大把的吧。。
1
回复
分享
发布于 2018-05-14 22:03
朱磊201805161402107
青岛科技大学 Java
分布式爬取,设置间隔时间
点赞
回复
分享
发布于 2018-05-16 16:51
朱磊201805161402107
青岛科技大学 Java
***IP
点赞
回复
分享
发布于 2018-05-16 16:50
二手牛仔裤
哔哩哔哩_Java高级研发工程师
好像有个叫布隆过滤器的结构专门处理反爬虫
点赞
回复
分享
发布于 2018-05-16 02:08
lvty
上海电子信息职业技术学院 Java
速度不要太快啊 多线程模拟随机时间 一定不要太快了 拉别人数据还要速度 就真的。。
点赞
回复
分享
发布于 2018-05-14 23:16
阿喵喵萌萌哒
南京大学 数据分析师
常见的就是 换useragent+ip,ip验证有效过后再用,不稳定的情况具体看下,一般抓取失败的网页保存下来再次请求就好。一般建议降低请求次数,如果几天能够抓完应该也在可接受范围之内。
点赞
回复
分享
发布于 2018-05-14 22:42
暂无评论,快来抢首评~
相关推荐
01-22 18:24
长春吉大附中实验学校 产品经理
关于苏州入职体检,想要顺利通过,没人告诉你的几件事!
在苏州求职就业找工作,拿到offer后第一关,往往是入职体检。有人觉得这是走流程,有人甚至觉得做入职体检就是多余的事。但你知道吗?这份看似简单的入职体检报告,不仅是企业的录用门槛,更是你健康管理的起点。一份标准的入职体检套餐,通常包含以下几个核心模块,每个项目都在为你揭示身体不同维度的状态:一、苏州入职体检的这些检查项目,究竟在看什么?01、一般检查这是最基础却不可或缺的一环。血压是心血管健康的“风向标”,长期偏高需警惕高血压;结合身高体重计算的BMI指数,能快速评估你的体重是否健康。02、内外科与视听力·外科检查:通过触诊等方式,排查浅表淋巴结、甲状腺、脊柱四肢等有无异常。·内科检查:关注心...
点赞
评论
收藏
分享
01-18 23:58
渤海大学 后端工程师
不完全作图 Prompt 指南
前言 一图胜千言,千言汇成一幅图。不同于获取答案的文字,生图更像是把我们脑海中的画面映射出来。不过,我相信很多人和俺一样,没有那么多丰富的词藻。所以,本篇聚焦于如何像大师一样表达,让 AI 作图平权。 核心要素 当我们不知道该如何开始描述一个画面,可以从以下几个角度分别考虑。 1.主体描述 / Subject 图像的核心内容,尽管平铺直述,但不要简单描述。 ❌一个女巫 ✅一位强大神秘的女巫,微笑着坐在岩石上,施展闪电魔法,戴着帽子,穿着带有宝石的皮革服装 2.介质 / Medium 作品的表现形式 数字艺术、油画、水彩画、3D渲染、摄影、铅笔素描 3.艺术风格 / Style 图像...
浅入浅出大模型
点赞
评论
收藏
分享
01-15 12:26
西南民族大学 Java
根本找不到实习 !甚至打了招呼都不回 而且还是没发简历的情况下
点赞
评论
收藏
分享
01-02 12:05
西北工业大学 Java
简历求拷打
佬们,我这个简历寒假想投实习可以吗,现在1月份寒假实习还招人不,简历有没有什么要改的地方,欢迎锐评。
想run的马里奥在学...:
这个学历帮你扫平百分之80的障碍,投就完了,这会找不到就等3月暑期一样能找到
点赞
评论
收藏
分享
01-19 21:37
浙江大学 嵌入式工程师
掏心窝分享嵌入式好用工具,入职半年的感悟
不知不觉,作为 25 届的应届生,我已经入职嵌入式岗位半年多了!这段时间走了不少弯路,也找到了几个超级好用的工具,今天想和大家分享一下。 一、好用工具 1.AI辅助代码插件工具 Fitten Code 还有Copilot真的要大力推荐这两个插件!如果你觉得自己写代码很慢、代码能力差,或者总是重复写类似的业务逻辑,这两个工具真是救命稻草。 直接在 vscode 里搜索并安装就好。它们可以智能补全代码、自动生成注释、查找 bug! 举个真实的工作场景:有时候我写的代码逻辑差不多,只有几个参数不同,之前我总是复制粘贴,逐个改,一方面慢,另一方面容易出错。但这两个插件可以根据我之前的代码逻辑,自动处理...
AI coding的好用...
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
滴滴lastweek,知无不言
1184
2
...
实习产出怎么包装
1098
3
...
数据库出现慢查询怎么定位?
875
4
...
麻了,跟不上天赋哥
563
5
...
29届Java后端
528
6
...
考研失败春招求助
521
7
...
牛客的作用就是看面经
514
8
...
12.30丰疆智能测试面经(base武汉)
507
9
...
校招黑话 萌新扫盲必备
475
10
...
杭州有赞
472
创作者周榜
更多
正在热议
更多
#
除了Java,最推荐学什么技术?
#
1469次浏览
53人参与
#
AI时代的工作 VS 传统时代的工作,有哪些不同?
#
1741次浏览
66人参与
#
你的landing期是如何度过的?
#
1616次浏览
34人参与
#
滴滴求职进展汇总
#
298864次浏览
2445人参与
#
秋招报数:你投了多少家公司?
#
148282次浏览
946人参与
#
机械制造面试点评
#
83949次浏览
471人参与
#
你觉得早上几点上班合适?
#
94268次浏览
353人参与
#
机械人与华为的爱恨情仇
#
147151次浏览
1030人参与
#
机械只有转码才有出路吗?
#
159334次浏览
1653人参与
#
我和mentor的爱恨情仇
#
102782次浏览
925人参与
#
你觉得mentor喜欢什么样的实习生
#
45423次浏览
989人参与
#
如何提高实习转正率?
#
80792次浏览
488人参与
#
实习期间如何提升留用概率?
#
230943次浏览
1788人参与
#
你觉得什么岗位会被AI替代
#
35246次浏览
236人参与
#
聊聊你的被动加班经历
#
8347次浏览
101人参与
#
秋招提前批,你开始投了吗
#
705701次浏览
8437人参与
#
面试常问题系列
#
268720次浏览
4687人参与
#
京东求职进展汇总
#
1138442次浏览
8519人参与
#
牛客十周岁生日快乐
#
207728次浏览
1937人参与
#
为了秋招你都做了哪些准备?
#
31480次浏览
532人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务