用 BeautifulSoup 粗筛 PDF 链接：标准化 URL 后正则匹配 .pdf（含查询参数），再用 requests 加 headers、stream、Content-Type 校验精验；加限速、重试、安全命名及 JS 链接兜底处理。
怎么用 BeautifulSoup 找出页面里所有 PDF 链接
关键不是“找所有 a 标签”，而是过滤出真正指向 PDF 的链接。常见误判是只看 href 末尾有没有 .pdf，但很多 PDF 链接带查询参数（比如 doc?id=123）或用重定向，后缀被隐藏。
稳妥做法是结合两个条件：URL 路径或查询字符串中含 .pdf（不区分大小写），且响应头 Content-Type 是 application/pdf 或 text/plain（有些服务器配置不规范，PDF 返回 text/plain）——但这个只能下载时验证，所以先粗筛再精验。
实操建议：
- 用
soup.find_all('a', href=True)获取所有带href的链接 - 对每个
href做标准化：用urllib.parse.urljoin(base_url, href)补全相对路径，避免漏掉协议或域名 - 用
href.lower().endswith('.pdf')或re.search(r'\.pdf(\?|\#|$)', href.lower())初筛（\#是防锚点干扰） - 去重：PDF 链接常因导航重复出现，用
set()存标准化后的 URL
requests 下载 PDF 时怎么避免 403 或空文件
很多网站对非浏览器请求直接返回 403，或者 PDF 实际是服务端生成的，需要携带 Referer 或 Cookie 才能访问。更隐蔽的问题是：没设 stream=True，导致小文件能下、大文件内存爆掉或超时中断。
实操建议：
- 必须加请求头：
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'}，部分站点还要求Referer（设成源网页 URL） - 下载时务必用
response = requests.get(url, headers=headers, stream=True, timeout=30) - 检查状态码：
if response.status_code == 200再继续；跳过403、404、500 - 用
response.headers.get('content-type', '').lower()确认是不是 PDF，不是就跳过（避免把 HTML 当 PDF 下） - 写入文件用二进制模式：
with open(filename, 'wb') as f: for chunk in response.iter_content(chunk_size=8192): f.write(chunk)
怎么给批量下载加限速和错误重试
一口气发几十个请求，轻则被封 IP，重则目标服务器直接断连。而 PDF 下载失败原因多样：网络抖动、临时 502、DNS 解析失败——不重试等于白跑。
实操建议：
- 用
time.sleep(1)控制间隔（别用0.1，太激进）；更稳的是用random.uniform(1, 3)加点随机性 - 重试用
tenacity库最省心：@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=2, max=10))，比手写 while 循环可靠 - 把失败 URL 单独记到
failed_urls.txt，格式为url\tstatus_code\terror_message，方便后续人工查 - 别用全局 session 复用连接池（
requests.Session()是好的），但注意它不会自动处理重定向后的 Cookie 变更，PDF 链接若依赖登录态，得手动维护session.cookies
文件名怎么从 URL 或响应头安全生成
直接用 url.split('/')[-1] 取名很危险：可能为空、含非法字符（/ \ : * ? " |）、过长、无扩展名。而有些 PDF 响应头带 Content-Disposition: attachment; filename="报告.pdf"，这才是最准的来源。
实操建议：
- 优先解析
response.headers.get('content-disposition')，用正则提取filename="(.+?)"或filename=(.+?)(?:;|$) - fallback 到 URL：取最后一段，删掉查询参数和锚点，再用
re.sub(r'[^\w.-]', '_', filename)替换非法字符 - 强制补
.pdf：如果生成的文件名没有.pdf后缀（忽略大小写），就加上 - 防重名：在文件名后加序号或哈希前缀，比如
f"{hashlib.md5(url.encode()).hexdigest()[:6]}_{safe_name}"
最麻烦的其实是 PDF 链接藏在 JavaScript 里（比如 onclick="window.open('/api/pdf?id=789')）或分页加载（需要模拟滚动触发 AJAX）。BeautifulSoup 本身不执行 JS，这种就得换 playwright 或 selenium，但代价是速度慢十倍、资源占用高。确认是否真有这类链接，比盲目上重型工具更重要。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
