本文介绍一种可靠方法，利用 python 的 requests 和 lxml 库解析期刊页面结构，提取并下载所有可访问的 pdf 文献，规避 wget 不支持 http 通配符的限制。
本文介绍一种可靠方法，利用 python 的 requests 和 lxml 库解析期刊页面结构，提取并下载所有可访问的 pdf 文献，规避 wget 不支持 http 通配符的限制。
在网页抓取场景中，直接对 URL 使用 * 通配符（如 *.pdf）是无效的——因为 HTTP 协议本身不支持服务器端路径通配，wget 等工具也无法像本地 shell 那样展开 glob 模式。面对类似 American Meteorological Society 这类结构化但无公开资源索引的学术期刊页面，必须通过解析 HTML 页面内容，动态构造每个 PDF 的真实下载链接。
以下是一个健壮、可复用的 Python 解决方案，适用于该类 XML 视图页（如 issue-5.xml）后缀的期刊目录页：
import requests
from lxml import html
import os
# 设置请求头，模拟真实浏览器，避免被反爬拦截
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36"
}
# 目标期刊期次页面（XML 视图）
url = "https://www.php.cn/link/6a3046726902d0c78e1da31e247df4cc/view/journals/mwre/131/5/mwre.131.issue-5.xml"
print("正在获取期刊目录页...")
response = requests.get(url, headers=headers, timeout=30)
response.raise_for_status()
# 解析 HTML（注意：.xml 后缀页面实际返回的是 XHTML 格式，lxml 可正常解析）
tree = html.fromstring(response.text)
# 提取所有文章详情页链接（此处基于页面 DOM 结构：h1 > a.c-Button--link）
article_links = tree.xpath("//h1/a[@class='c-Button--link']/@href")
if not article_links:
raise ValueError("未找到任何文章链接，请检查 XPath 或页面结构是否已变更")
print(f"共发现 {len(article_links)} 篇文章，开始构造 PDF 下载地址...")
downloaded_count = 0
for link in article_links:
# 将文章 XML 路径转换为 PDF 路径（典型规则：/view/ → /downloadpdf/，.xml → .pdf）
pdf_path = link.replace("/view/", "/downloadpdf/").replace(".xml", ".pdf")
pdf_url = f"https://www.php.cn/link/6a3046726902d0c78e1da31e247df4cc{pdf_path}"
# 提取文件名（保留原始命名，便于溯源）
filename = os.path.basename(pdf_path)
try:
print(f"正在下载: {filename}")
pdf_resp = requests.get(pdf_url, headers=headers, timeout=60)
pdf_resp.raise_for_status()
# 严格校验响应类型，防止下载到 HTML 错误页（如登录跳转、权限拒绝）
content_type = pdf_resp.headers.get("content-type", "").lower()
if "application/pdf" not in content_type:
print(f"⚠️ 跳过 {filename}：响应非 PDF（Content-Type: {content_type}）")
continue
# 保存文件
with open(filename, "wb") as f:
f.write(pdf_resp.content)
print(f"✅ 已保存: {filename}")
downloaded_count += 1
except requests.exceptions.RequestException as e:
print(f"❌ 下载失败 {pdf_url}: {e}")
continue
print(f"\n✅ 完成！成功下载 {downloaded_count}/{len(article_links)} 个 PDF 文件。")
关键说明与注意事项：
- ✅ 结构依赖性：本方案假设目标页面遵循 view/xxx.xml → downloadpdf/xxx.pdf 的路径映射规律。若网站改版（如启用 DOI 重定向、JWT 鉴权或 PDF 流式加载），需结合浏览器开发者工具重新分析网络请求。
- ✅ 反爬应对：设置了 User-Agent 并添加了合理超时；生产环境建议增加 time.sleep() 间隔、使用 requests.Session() 复用连接，并考虑代理池。
- ✅ 容错增强：代码显式检查 Content-Type，避免将 403/500 错误页误存为 .pdf；同时捕获网络异常，确保单个失败不影响整体流程。
- ⚠️ 版权与合规提醒：批量下载学术资源须严格遵守网站 robots.txt 及服务条款（如 AMS 明确限制自动化访问）。仅限个人研究、合理使用场景，禁止商用或再分发。
如需扩展功能（如按标题过滤、并发下载、自动重命名、PDF 元数据提取），可进一步集成 concurrent.futures、PyPDF2 或 pdfplumber 等库。核心原则始终不变：先解析，再构造，最后验证下载——这是绕过 HTTP 通配符限制的最通用、最可控路径。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
