27 Python的requests模块

概述

        在上一节，我们介绍了Python的logging模块，包括：logging的基本使用、logging的选项设置、日志旋转、logging.Filter类等内容。在这一节，我们将介绍Python的requests模块。requests模块是Python中最常用的HTTP客户端库之一，因为它简单易用，功能强大，并可以发送各种类型的HTTP请求，包括：POST、GET、PUT等。requests模块不是Python的标准库，我们可以通过pip包管理器进行安装。

发送POST请求

        使用requests.post()函数可以发送HTTP POST请求，并返回一个Response对象。该对象包含响应的各种信息，比如：状态码、响应头、响应体等。requests.post()函数可以通过data参数传递要发送的数据，通过timeout参数传递超时的时间。

import requests

# 要发送的自定义数据
data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://www.baidu.com', data = data, timeout = 2)

# 检查响的应状态码
if response.status_code == 200:
    print('success')
    print(response.text)
else:
    print('failed, status code is:', response.status_code)

        如果想发送Json格式的请求体，可以使用json参数代替data参数，requests模块会自动将Python对象转换为Json格式。

import requests  
  
json_data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://www.test.com/api/test', json = json_data)

发送GET请求

        使用requests.get()函数可以发送HTTP GET请求，并返回一个Response对象。

import requests

response = requests.get('https://www.csdn.net/')
# 输出状态码
print(response.status_code)
# 输出响应头
print(response.headers)
# 输出响应体的文本内容
print(response.text)

        在GET请求中，参数通常作为查询字符串附加在URL的末尾。而在POST请求中，参数通常作为请求体发送。因此，在使用requests.post()函数时，我们通过data参数传递要发送的数据。而在使用requests.get()函数时，我们通过params参数传递查询参数。

import requests  
  
# 可以替换为目标URL
url = 'https://www.test.com/api/test'
# 要传递的查询参数
params = {'key': 'value'}
response = requests.get(url, params = params, timeout = 2)
  
# 检查响应的状态码
if response.status_code == 200:
    print('success')
    print(response.text)
else:
    print('failed, status code is:', response.status_code)

设置请求头

        在requests.post()函数和requests.get()函数中，可以通过headers参数设置自定义的请求头。请求头是一种HTTP消息头，用于传递关于请求的附加信息，比如：User-Agent、Content-Type等。设置请求头可以帮助我们模拟不同的浏览器和客户端，或满足某些API的特殊要求。

import requests

url = 'https://www.test.com/api/test'
headers = {
    'User-Agent': 'Mozilla/5.0',
    'Content-Type': 'application/json'
}
response = requests.get(url, headers = headers)

会话管理

        我们可以使用requests.Session()创建一个会话对象，以进行会话管理。通过会话管理，可以在同一会话中发送多个请求，并共享同一份cookies、请求头等信息。

import requests

# 创建会话对象
session = requests.Session()

# 发送第一个请求
url1 = 'https://www.test.com/api/test1'
response1 = session.get(url1)

# 发送第二个请求
url2 = 'https://www.test.com/api/test2'
response2 = session.post(url2, data = {'name': 'CSDN'})

# 关闭会话
session.close()

        在上面的示例代码中，首先使用requests.Session()创建了一个会话对象session。然后，使用session.get()函数发送第一个GET请求到url1，并使用session.post()函数发送第二个POST请求到url2。由于这些请求都是在同一个会话中发送的，所以它们会共享同一份cookies和请求头等信息。最后，我们调用了session.close()函数来关闭会话。这一步是可选的，因为在Python结束时，会话对象会自动关闭。但如果想在程序中间关闭会话，可以使用session.close()函数来实现。