Day34：HTTP请求和响应处理

上一节我们简要介绍了Python爬虫的基本知识以及依赖库的安装，现在我们正式开始学习如何使用Python进行爬虫任务，首先了解一下HTTP。在网络爬虫中，进行HTTP请求和处理HTTP响应是非常重要的步骤。本节将介绍如何使用Python发送HTTP请求，并处理返回的HTTP响应。

1. HTTP请求和响应的基本知识

• HTTP请求：在网络爬虫中，我们使用HTTP请求向服务器发送获取网页数据的请求。常见的HTTP请求方法包括GET、POST、PUT、DELETE等。
• HTTP响应：服务器接收到HTTP请求后，会返回一个HTTP响应，其中包含了网页的内容、状态码等信息。常见的HTTP响应状态码有200表示成功，201表示创建，403表示禁止访问，404表示页面未找到，500表示服务器错误，502表示网关错误。

2. 发送HTTP请求和处理响应的步骤

1. 导入所需库：

   import requests
   

2. 发送HTTP请求：

   • 使用requests.get()方法发送GET请求：

     response = requests.get(url)
     

   • 使用requests.post()方法发送POST请求：

     response = requests.post(u