怎样用Python脚本自动批量下载网页上的高清大图-Python教程-PHP中文网

识别网页高清图需优先检查img标签的data-original、data-src、srcset等属性，而非仅依赖src；srcset需解析带w后缀的最大宽度url，data-*属性须显式提取，相对路径需补全，并模拟浏览器请求头防反爬。

怎样用python脚本自动批量下载网页上的高清大图

识别网页中高清图的常见HTML特征

很多网站把缩略图和原图分开存放，缩略图在 <img> 的 src 属性里，而高清图藏在 data-src、data-original、data-fullsize 或 srcset 里。有些站点甚至把原图URL拼在缩略图路径末尾（比如把 thumb_abc.jpg 改成 full_abc.jpg），或用固定后缀替换（.webp?size=120 → .jpg）。

直接读 src 下载的往往是低清图，尤其在响应式站点上
srcset 值是一串逗号分隔的 URL WIDTHw，需提取最大宽度对应的URL
data-* 属性需要显式检查，不能依赖默认解析逻辑
部分图片URL是相对路径，要用 urllib.parse.urljoin() 补全

用requests + BeautifulSoup安全下载带反爬的图片

直接用 requests.get() 请求图片URL常被返回403或空内容——因为服务器校验 Referer 和 User-Agent。必须模拟浏览器行为：

Claw Code Suite (Python-Only Edition)

仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...

下载

设置 headers = {"User-Agent": "Mozilla/5.0...", "Referer": page_url}
对含登录态的页面，先用 requests.Session() 登录并复用 cookies
遇到重定向（如302跳转到CDN域名），确保 allow_redirects=True 并检查最终 response.url 是否仍是图片地址
下载前用 response.headers.get("Content-Type") 判断是否为 image/jpeg 等，避免保存HTML错误页

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin, urlparse
<p>session = requests.Session()
session.headers.update({"User-Agent": "Mozilla/5.0..."})</p><p>def get_image_urls(page_url):
r = session.get(page_url)
soup = BeautifulSoup(r.text, "html.parser")
urls = []
for img in soup.find_all("img"):</p><h1>优先取 data-original</h1><pre class="brush:python;toolbar:false;">    url = img.get("data-original") or img.get("data-src") or img.get("src")
    if url:
        full_url = urljoin(page_url, url.strip())
        urls.append(full_url)
return urls

处理srcset和动态生成的高清图URL

srcset 字符串不是标准JSON，不能用 json.loads。要手动按逗号切分，再对每段用空格拆出URL和描述（如 "@#@#@#@#@#@#@#@#@#@0 2x" 或 "@#@#@#@#@#@#@#@#@#@1 1200w"）。关键点：

优先选带 w 后缀的项（表示像素宽度），取最大 w 对应的URL
若只有 x 后缀（如 2x），需结合设备像素比推测，但批量场景下通常直接取最后一个更稳妥
部分站点在 srcset 里混入 WebP 和 JPG，优先选 .jpg 或 .png 后缀（兼容性更好）

def parse_srcset(srcset: str, base_url: str) -> str:
    candidates = []
    for part in srcset.split(","):
        part = part.strip()
        if not part:
            continue
        url_part, *desc = part.split()
        if len(desc) == 0:
            candidates.append(urljoin(base_url, url_part))
        else:
            if "w" in desc[0]:
                candidates.append(urljoin(base_url, url_part))
    return candidates[-1] if candidates else ""