深入理解Python requests库的重定向处理与3xx状态码获取-Python教程-PHP中文网

深入理解Python requests库的重定向处理与3xx状态码获取

python requests库在默认情况下会自动跟随http重定向，导致无法直接获取3xx系列状态码。本文将详细解释这一机制，并提供通过设置allow_redirects=false来禁用自动重定向的方法，从而准确捕获原始的重定向状态码，这对于需要分析链接跳转行为的场景至关重要。

在进行网络请求时，我们常常需要获取HTTP响应的状态码来判断请求结果。然而，使用Python的requests库时，有时会发现对于某些已知会发生重定向的URL（例如，返回301或302状态码），我们最终却收到了200 OK的状态码。这通常不是因为URL没有重定向，而是因为requests库的默认行为——自动跟随重定向。

1. 理解HTTP重定向与requests库的默认行为

HTTP重定向是一种常见的Web机制，服务器通过返回3xx系列状态码（如301 Moved Permanently、302 Found、307 Temporary Redirect、308 Permanent Redirect）来告知客户端请求的资源已移动到新的URL。客户端（如浏览器或requests库）在收到这些状态码后，会根据响应头中的Location字段自动向新的URL发起请求。

requests库为了方便用户，默认情况下会将allow_redirects参数设置为True。这意味着当你调用requests.get()时，如果服务器返回了重定向状态码，requests会自动发起新的请求去访问重定向后的URL，直到遇到非重定向状态码（如200 OK，404 Not Found等）或达到最大重定向次数限制。最终，response.status_code将是最终目的地的状态码，而原始的3xx状态码则会被“隐藏”。

2. 常见问题：无法捕获重定向状态码

许多开发者在尝试检测URL状态时会遇到以下困惑：

import requests

url_to_check = "http://example.com/old-page" # 假设这个URL会302重定向到 /new-page
response = requests.get(url_to_check, timeout=5)
print(response.status_code) # 预期302，但可能输出200

上述代码中，如果http://example.com/old-page确实发生了302重定向，requests库会自动跟随到http://example.com/new-page，并返回new-page的响应状态码，通常是200。这就导致我们无法直接获取到原始的302状态码。

记录数据一键导出 Excel/CSV（带样式）

把记录数组导出为带样式的 Excel(xlsx) 或带 BOM 的 CSV。支持列配置（表头/宽度/顺序）、表头冻结首行、斑马纹、布尔值转「是/否」、数组换行、CSV 中文防乱码。零依赖。触发词：导出 Excel、导出 CSV、记录转表格、列配置导出、数据导出、表格美化、JSON 转表格。

下载

3. 解决方案：禁用自动重定向

要解决这个问题，我们需要显式地告诉requests库不要自动跟随重定向。这可以通过将requests.get()（或其他请求方法，如post、head等）的allow_redirects参数设置为False来实现。

import requests

url_to_check = "http://example.com/old-page" # 假设这个URL会302重定向到 /new-page
response = requests.get(url_to_check, timeout=5, allow_redirects=False)
print(response.status_code) # 现在将准确输出302

通过设置allow_redirects=False，requests库会在收到第一个重定向响应时就停止，并将其作为最终响应返回。此时，response.status_code将准确反映原始的重定向状态码（如301、302等）。

4. 完整的示例代码

以下是一个结合了CSV文件处理的完整示例，演示如何准确检测URL状态，包括重定向状态码：

import csv
import requests

def check_url_status(url: str) -> str:
    """
    检查URL的状态，并返回描述性状态字符串。
    通过设置allow_redirects=False来捕获原始的重定向状态码。
    """
    try:
        # 禁用自动重定向，以便捕获3xx状态码
        response = requests.get(url, timeout=5, allow_redirects=False)
        status_code = response.status_code

        # 如果需要查看重定向历史，可以在这里检查 response.history
        # 例如：
        # if response.history:
        #     print(f"URL: {url} - 重定向路径: {[r.url for r in response.history]}")

        if 200 <h3>5. 注意事项与最佳实践</h3>

何时禁用重定向： 当你的目标是分析链接的原始跳转行为，例如进行SEO审计、死链检测、追踪短链接的真实目的地、或需要精确获取每个HTTP请求的原始状态码时，应设置allow_redirects=False。
何时允许重定向： 在大多数获取最终页面内容或API响应的场景下，保持allow_redirects=True（默认值）更为方便，因为它会自动处理跳转，直接返回最终资源的响应。

检查重定向历史： 即使allow_redirects=True，你仍然可以通过response.history属性获取一个包含所有重定向请求的响应对象列表。这对于分析完整的重定向链非常有用。

response = requests.get("http://shorturl.com/xyz", allow_redirects=True)
if response.history:
    for resp in response.history:
        print(f"重定向自: {resp.url}, 状态码: {resp.status_code}")
    print(f"最终URL: {response.url}, 最终状态码: {response.status_code}")

处理多种重定向： HTTP重定向类型多样，包括301（永久移动）、302（临时移动）、303（See Other，通常用于POST请求后重定向到GET请求）、307（Temporary Redirect，保留请求方法）、308（Permanent Redirect，保留请求方法）。在解析状态码时，应根据业务需求进行区分。
异常处理： requests库在网络请求过程中可能抛出多种异常，例如requests.exceptions.Timeout（请求超时）、requests.exceptions.ConnectionError（连接失败）、requests.exceptions.HTTPError（HTTP错误，如4xx/5xx系列），以及更通用的requests.exceptions.RequestException。建议进行细致的异常捕获，以提高代码的健壮性。
编码问题： 在处理CSV文件时，显式指定encoding="utf-8"是一个良好的习惯，可以避免因字符编码不匹配导致的问题。

总结

requests库的allow_redirects参数是控制HTTP重定向行为的关键。通过将其设置为False，我们可以绕过默认的自动重定向机制，从而准确捕获到服务器返回的原始3xx系列状态码。理解并正确使用这个参数，对于需要精确分析网络请求流程和URL跳转行为的场景至关重要。根据具体的应用需求，选择是否禁用自动重定向，将使你的网络请求处理更加灵活和精确。

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！