怎样利用Python自动识别并下载网页中的图片_使用BeautifulSoup解析DOM-Python教程-PHP中文网

用 BeautifulSoup 找不到标签，首先确认原始 HTML 是否真包含该标签；若存在但未解析，应改用 lxml 解析器并检查 data-src、srcset 等懒加载属性，同时处理相对路径、403 反爬、文件名非法等问题。

怎样利用python自动识别并下载网页中的图片_使用beautifulsoup解析dom

用 `BeautifulSoup` 找不到 `<img>` 标签？先确认 HTML 是否真包含图片节点

很多网页的图片是通过 JavaScript 动态插入的，requests.get() 拿到的原始 HTML 里压根没有 <img>，这时候 BeautifulSoup 当然查不到。别急着换库，先用浏览器开发者工具（Network → HTML 请求响应体）确认你抓下来的页面源码里是否真有 <img src="...">。

如果源码里确实有但没解析出来，常见原因是解析器选错：html.parser 对某些 malformed HTML 容错差，换成 lxml 更稳：

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'lxml')  # 不要用 'html.parser' 硬扛乱码

确保安装了 lxml：pip install lxml
检查 soup.find_all('img') 返回空列表时，先打印 len(soup.find_all('div')) 看是否整个 DOM 都没加载成功
有些网站用 data-src 或 srcset 延迟加载图片，得手动提取这些属性，而不是只看 src

图片 URL 是相对路径？必须用 `urljoin` 拼成绝对地址才能下载

直接拿 img.get('src') 得到 /images/logo.png 或 ../assets/pic.jpg 这种相对路径，requests.get() 会 404。硬拼字符串容易出错，必须用标准库处理：

from urllib.parse import urljoin
img_url = urljoin(base_url, img.get('src') or img.get('data-src') or '')
# base_url 是你最初 request 的那个网页完整 URL

别漏掉 data-src、data-original 这类懒加载字段，尤其在电商或新闻站很常见
srcset 是逗号分隔的多分辨率 URL 列表，取第一个（通常是主图）：img.get('srcset', '').split(',')[0].strip().split()[0]
跳过 SVG、base64 编码的 src（以 data:image/ 开头），它们不是可下载的文件

下载图片时被 403 拒绝？加 `headers` 模拟浏览器访问

多数网站会检查 User-Agent，空 headers 直接返回 403。不一定要抄 Chrome 最新 UA，简洁有效就行：

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'}
response = requests.get(img_url, headers=headers, timeout=10)

超时设为 timeout=10 防止卡死；加上 stream=True 能节省内存，尤其大图
检查 response.status_code == 200 再写入文件，否则可能下出 HTML 错误页
注意响应头 Content-Type，过滤掉非图片类型（如 text/html），避免保存失败内容

保存文件名重复或非法？用 `os.path.basename` + `urllib.parse.unquote` 清理

URL 中的 %20、中文、问号等会导致 open() 报错或生成乱码文件名。别手写正则替换，用标准函数解码再截取：

from urllib.parse import unquote
from os.path import basename, join
<p>clean_name = unquote(basename(img_url))</p><h1>如果 clean_name 为空（比如 URL 以 / 结尾），用 hash 或时间戳 fallback</h1><p>if not clean_name or '.' not in clean_name:
clean<em>name = f"img</em>{int(time.time())}.jpg"
full_path = join(save_dir, clean_name)</p>

Windows 下文件名不能含 :"/|?*，basename 不会自动删，需额外过滤（简单场景用 re.sub(r'[:"/\|?*]', '_', clean_name)）
扩展名可能缺失或错误（如 https://site.com/pic?id=123），靠 response.headers.get('Content-Type') 补全更可靠
同一页面多个同名图片（如 icon.png 出现 5 次），要加序号去重，否则后下载的会覆盖前一个

真正麻烦的从来不是解析 DOM，而是每个网站自定义的图片加载逻辑、反爬策略和 URL 构造方式——处理前先人工点开几个目标链接，看清楚它怎么把图塞进页面的，比硬写通用代码快得多。