首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
Go前进
江西理工大学 算法工程师
关注
已关注
取消关注
厉害
@我不叫内谁:
浅析python爬虫(下)
学习的最大理由是想摆脱平庸,早一天就多一份人生的精彩;迟一天就多一天平庸的困扰。各位小伙伴,如果您: 想系统/深入学习某技术知识点… 一个人摸索学习很难坚持,想组团高效学习… 想写博客但无从下手,急需写作干货注入能量… 热爱写作,愿意让自己成为更好的人… 今天学习的是requests这个http模块,Python 内置了 requests 模块,该模块主要用来发 送 HTTP 请求,requests 模块比urlib模块更简洁。 安装模块 首先进入终端,输入 pip install requests ,进行模块的安装,如果显示错误信息,在排除输入错误的情况下,进行安装pip,按常理来讲,目前python较新的大部分版本都是自带pip,但也不排除某些牛马情况(悲) 模块常见属性及用法 发送get请求,参数:url,headers,params,proxies,timeout,verify等,返回一个response对象。 requests.get() #发送post请求,参数:url,headers,data,proxies,timeout,verify等,返回一个response对象。 requests.post() #将字典对象转换成cookiejar对象 requests.utils.cookiejar_from_dict({'name': 'value'}) #将cookiejar对象转成字典对象 requests.dict_from_cookiejar(response.cookies) #返回response对象响应体的文本内容。 response.text #返回response对象响应体的二进制数据。 response.content #设置response对象响应体的编码格式,作用于requests.text response.encoding='utf8' #将返回的json数据直接转成dict response.json() #返回响应对象中的所有cookie对象 response.cookies #返回一个requests对象,使用该对象可以对请求进行状态保持。 req = requests.session() requests.get(‘https://github.com/timeline.json’) # GET请求 requests.post(“http://httpbin.org/post”) # POST请求 requests.put(“http://httpbin.org/put”) # PUT请求 requests.delete(“http://httpbin.org/delete”) # DELETE请求 requests.head(“http://httpbin.org/get”) # HEAD请求 requests.options(“http://httpbin.org/get” ) # OPTIONS请求 响应的内容 响应内容 意义 r.encoding 获取当前的编码 r.encoding = ‘utf-8’ 设置编码 r.text 以encoding解析返回内容。字符串方式的响应体,会自动根据响应头部的字符编码进行解码。 r.content 以字节形式(二进制)返回。字节方式的响应体,会自动为你解码 gzip 和 deflate 压缩。 r.headers 以字典对象存储服务器响应头,但是这个字典比较特殊,字典键不区分大小写,若键不存在则返回None r.status_code 响应状态码 r.ok 查看r.ok的布尔值便可以知道是否登陆成功 r.json() Requests中内置的JSON解码器,以json形式返回,前提返回的内容确保是json格式的,不然解析出错会抛异常 r.raise_for_status() 失败请求(非200响应)抛出异常 r.requests.headers 返回发送到服务器的头信息 r.cookies 返回cookie r.history 返回重定向信息,当然可以在请求是加上allow_redirects = false 阻止重定向 简单代码实现 此处是通过urlib实现爬取百度 此处是使用requests模块进行爬取百度
点赞 0
评论 1
全部评论
推荐
最新
楼层
暂无评论,快来抢首评~
相关推荐
08-12 15:57
广西师范大学 大数据开发工程师
阳光电源挺火热的
听着网上对阳光电源的骂声一大片,但实际上面试都爆满呢。。。
点赞
评论
收藏
分享
08-12 18:50
顺丰集团_大数据挖掘与分析工程师(准入职员工)
顺丰内推,顺丰内推码
已经来工作一个多月啦,感觉幸福度很高,顺丰真的是很值得来的一家公司!公司里的氛围很好,同事们很nice很好沟通,和大家私下相处也贼融洽。工作很充实但是没什么压力,领导带教都不push,感觉每天来公司都很开心~💼 公司岗位数据分析💢 工作强度在整个集团里算卷的,顺丰科技大多数部门965美滋滋,但是我进的部门业务多975,双休基本可以保证,需求多的话周末也要赶一下进度。🫶️ 团队氛围进的团队好,前辈都很热心教人,有问必答。❤️ 职场感受希望我这次转正能通过吧,能过的话会来报喜😊8月还有HC!!!顺丰科技25届校招+26届暑期实习内推启动!【🍀内推码】0H0PCC(简历来源选择校园大使)【...
顺丰集团工作强度 171人发布
点赞
评论
收藏
分享
07-05 12:17
江西农业大学 Java
27找实习
各位这个简历有问题吗?还是得继续沉淀啊
点赞
评论
收藏
分享
08-03 23:52
同济大学 Java
秋招能拿到理想的offer嘛
目前在mt数开实习 组里面去年都转正了 不用答辩只交自评 但是部门只有北京和上海的岗 本人还是想找成都的 而且想做后端方向的 不知道能不能拿到理想的offer
lwy911:
蔚来的不行吗
点赞
评论
收藏
分享
08-11 00:58
阿里巴巴灵犀互娱_HR
阿里灵犀体验
入职阿里灵犀一年了,说说犀的上班感受,毕竟如果我自己都感受不好,也没啥动力推荐大家来了说起我和阿里灵犀第一次相遇,面试就有被震撼到的公司环境,在cbd打工环境风景都超好的,下班的落日经常超级好看!!福利待遇也很好,而且每天没有考勤打卡这种事情的幸福谁懂?!!!实习的时候偶尔睡过头或者天气不好迟到一会一点影响都没有每天过着早十晚六的生活(其实也不是那么准时)而且从来没加过班!!感觉是运气很好来到了一个很好的部门,部门十几个人大家都非常和善部门氛围很好很好,leader很有趣很有意思几乎每周组里都有下午茶奶茶,组里帅哥美女又多大家也都非常非常好没有强加班文化,躺卷由人,感觉是阿里系里加班最不卷的了...
阿里巴巴公司福利 643人发布
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
小红书java一面
5018
2
...
快手秋招-后端一面
4209
美团第二批笔试
热聊中
3
...
该不该给领导买东西啊...
4041
4
...
秋招准备投这些厂可以吗?
3488
5
...
大疆结构秋招一面
2992
6
...
美团今天的ai coding笔试允许用ai吗
2992
7
...
百度提前批一面凉经!继续复习!
2844
8
...
小红书-引擎架构- java实习-一&二面凉经
2750
9
...
影石嵌入式面经
2702
10
...
美团第二次笔试 算法题直接白卷投降
2664
创作者周榜
更多
正在热议
更多
#
你上一次给父母打电话是什么时候
#
14051次浏览
127人参与
#
扒一扒那些奇葩实习经历
#
71611次浏览
935人参与
#
秋招笔面试记录
#
201113次浏览
3456人参与
#
发工资后,你做的第一件事是什么
#
72723次浏览
252人参与
#
在职场上,你最讨厌什么样的同事
#
28284次浏览
208人参与
#
给26届的秋招建议
#
40087次浏览
1017人参与
#
实习的内耗时刻
#
60536次浏览
642人参与
#
我的秋招“寄”录
#
46348次浏览
605人参与
#
秋招投递记录
#
28574次浏览
317人参与
#
节后第一天上班,我的精神状态
#
14008次浏览
122人参与
#
校招第一份工作你干了多久?
#
99306次浏览
438人参与
#
安克创新求职进展汇总
#
40241次浏览
448人参与
#
我的AI电子员工
#
13485次浏览
107人参与
#
今年秋招哪家公司给的薪资最良心?
#
263075次浏览
1459人参与
#
选offer应该考虑哪些因素
#
86568次浏览
768人参与
#
如果校招重来我最想改变的是
#
279940次浏览
2908人参与
#
你最近一次加班是什么时候?
#
80304次浏览
432人参与
#
秋招,不懂就问
#
12589次浏览
135人参与
#
应届生初入职场,求建议
#
240845次浏览
2720人参与
#
工作上你捅过哪些篓子?
#
22243次浏览
140人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务