python学习(爬取网页network上的内容)

本文只是本人在学习途中记录与复习梳理用,大佬们酌情观看哈~
当用requests的get得到一个对象后,发现用find显示的是None,但打开网页检查的时候却存在,为什么?
除了平时直接显示的元素(elements)之外,还有许多内容在检查栏内:
学习之后我知道了,其中的network里的内容在请求之后才会与元素结合显示,Network中能够看到浏览器的请求。
怎么获取network中的内容?我用python解决的(刚学XD)
先上代码:

import requests
from bs4 import BeautifulSoup
# 引用requests库
res_music = requests.get('https://c.y.qq.com/soso/fcgi-bin/client_search_cp?ct=24&qqmusic_ver=1298&new_json=1&remoteplace=txt.yqq.song&searchid=60997426243444153&t=0&aggr=1&cr=1&catZhida=1&lossless=0&flag_qc=0&p=1&n=20&w=%E5%91%A8%E6%9D%B0%E4%BC%A6&g_tk=5381&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8&notice=0&platform=yqq.json&needNewCode=0')
# 调用get方法,下载这个字典
json_music = res_music.json()
# 使用json()方法,将response对象,转为列表/字典
list_music=json_music['data']['song']['list']
for music in list_music:
    print(music['name'])

这是爬取了QQ音乐中周董的歌名的代码,运用了json的技术,有问题请联系我~

全部评论

相关推荐

在下uptown:山东的哥们得好好回答 第一问题,专业技能太少了,现在写的大部分都是模型迭代过渡期的技术栈,说白了今天用明天可能就不用,多补一些看家的本事 第二个问题,项目偏学术学习体现不出工程能力,deepresearch核心在于模型自我反馈自我纠正,没体现出来,RAG本身在落地应用上就是个伪命题。 再有就是,有实习经历可以弥补学历不足,建议放到学历下面,别人筛简历可能第一眼觉得学校不过关,但第二眼有实习经历,就给你面试了,藏到后面可能就没有第二眼了
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务