python爬虫教程requests使用-Python教程-PHP中文网

Requests库在Python爬虫中的应用：使用Requests库请求数据：导入库：import requests创建会话对象：session = requests.Session()发送请求：response = session.get('URL')处理响应：响应对象：response访问响应数据：response.status_code、response.headers、response.content

Requests 库在 Python 爬虫中的使用

Requests 是 Python 中一个流行且强大的 HTTP 库，用于发送 HTTP 请求并处理响应。它非常适合编写爬虫，因为它简化了 HTTP 请求的过程，并为处理常见的 HTTP 操作（如发送 GET/POST 请求、处理重定向和验证）提供了开箱即用的功能。

使用 Requests 库请求数据

要使用 Requests 库请求数据，请按照以下步骤操作：

导入 requests 库：

import requests

创建 Session 对象：

会话对象管理 HTTP 会话并提供了持久连接，从而可以复用 TCP 连接并提高效率。

session = requests.Session()

发送 HTTP 请求：

要发送 HTTP 请求，请使用 request() 方法。此方法采用以下参数：

method: HTTP 请求的方法（例如 GET、POST、PUT、DELETE）
url: 请求的 URL
data: POST 数据（如果适用）
headers: 请求头（可选）
params: 查询参数（可选）

例如，以下代码发送一个 GET 请求：

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

response = session.get('https://example.com')

处理响应：

response 对象包含服务器的响应。您可以使用以下属性来访问响应数据：

response.status_code: 状态代码
response.headers: 响应头
response.content: 响应正文

示例

以下是一个简单的 Python 爬虫示例，使用 Requests 库从 Google 获取网页标题：

import requests

# 创建 Session 对象
session = requests.Session()

# 发送 GET 请求
response = session.get('https://www.google.com')

# 检查状态码
if response.status_code == 200:
    # 获取网页标题
    title = response.content.decode('utf-8').split('<title>')[1].split('</title>')[0]
    print(title)

了解更多

有关 Requests 库的更多信息，请参阅官方文档：https://requests.readthedocs.io/en/latest/