如何使用 requests 正确下载受反爬保护的 PDF 文件-Python教程-PHP中文网

如何使用 requests 正确下载受反爬保护的 PDF 文件

本文详解为何直接用 requests 下载 pdf 会失败（返回 403 错误），并提供添加自定义 user-agent 头绕过服务器反爬检测的完整解决方案。

本文详解为何直接用 requests 下载 pdf 会失败（返回 403 错误），并提供添加自定义 user-agent 头绕过服务器反爬检测的完整解决方案。

在使用 requests 库下载 PDF 文件时，看似简洁的代码常常无法正常工作——文件虽被保存，却无法用 Adobe Reader、浏览器或系统预览工具打开，提示“损坏”或“无法解析”。根本原因并非链接失效或网络异常，而是目标服务器（如马来西亚交易所 Bursa Malaysia）主动拦截了默认的 Python 请求。

默认情况下，requests 发出的请求头中 User-Agent 字段为类似 python-requests/2.31.0 的标识，极易被识别为自动化脚本。许多网站（尤其金融、监管类平台）会基于该字段实施访问控制，直接返回 HTTP 403 Forbidden 响应，而非真实 PDF 内容。此时 response.content 实际写入的是错误页面的 HTML 或空响应体，导致生成的 .pdf 文件无效。

✅ 正确做法是伪造浏览器请求头，尤其是 User-Agent，使其与主流浏览器一致。以下为可直接运行的修复版代码：

绘蛙AI转3D

绘蛙AI转3D是一款AI 3D生成工具，平铺图快速转换为3D立体展示图。

下载

import requests

url = "https://disclosure.bursamalaysia.com/FileAccess/apbursaweb/download?id=231746&name=EA_DS_ATTACHMENTS"

# 添加模拟浏览器的请求头（关键！）
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:124.0) Gecko/20100101 Firefox/124.0"
}

response = requests.get(url, headers=headers)

# 建议：检查响应状态码，避免静默失败
if response.status_code == 200:
    with open("EA_DS_ATTACHMENTS.pdf", "wb") as f:
        f.write(response.content)
    print("✅ PDF downloaded successfully!")
else:
    print(f"❌ Failed to download: HTTP {response.status_code}")
    print("Response content preview:", response.content[:200])

? 注意事项与进阶建议：

务必验证 status_code：不要仅依赖 response.content 存在就认为成功；403/404 响应也会有内容（如错误页），但非 PDF。
User-Agent 可动态更新：长期运行脚本建议轮换多个 UA 字符串（如 Chrome、Safari、Edge），降低被封风险。
必要时补充其他头部：部分站点还需 Accept, Accept-Language, Referer 等（可通过浏览器开发者工具 → Network → Headers 查看真实请求）。
处理重定向与 Cookies：若目标链接涉及登录态或跳转（如需 Cookie 鉴权），应改用 requests.Session() 并先模拟登录。
PDF 校验（可选）：下载后可用 PyPDF2.PdfReader 或 pdfplumber 尝试加载，验证文件结构有效性。

通过添加合法的 User-Agent，你就能绕过基础反爬机制，稳定获取真实 PDF 内容——这是 Web 数据采集中最常见也最关键的一步。