爬虫第3节

1 Requests库的异常

requests.ConnectionError 网络连接错误异常,如DNS查询失败、拒绝连接等。
requests.HTTPError HTTP错误异常。
requests.URLRequired URL缺失异常。
requests.TooManyRedirects 超过最大重定向次数,产生重定向异常。
requests.ConnectTimeout 连接远程服务器超时异常。
requests.Timeout 请求URL超时,产生超时异常。

2

r.raise_for_status() 如果不是200,产生异常requests.HTTPError。

3

import requests

def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status() #如果状态不是200,引发HTTPError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"
if _name_ == "_main_":
    url = "http://www.baidu.com"
    print(getHTMLText(url))
全部评论

相关推荐

迷茫的大四🐶:这才是秋招啊,我那除了广告还是广告的邮件通知,空白一片面试日程安排还配叫秋招吗
秋招白月光
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务