pytorch dataloader遇损坏图像默认中断训练，正确做法是在dataset.__getitem__中用try/catch捕获oserror、unidentifiedimageerror等具体异常并返回none，再配自定义collate_fn过滤none样本，同时记录错误日志定位坏文件。
PyTorch DataLoader 遇到损坏图像直接抛 RuntimeError 或 OSError 怎么办
默认行为是中断整个训练——这不是 bug，是设计使然。PyTorch 的 ImageFolder 和 datasets.ImageFolder 底层调用 PIL.Image.open()，一旦文件头损坏、截断或格式不支持，PIL 就 raise 异常，而 DataLoader 默认不捕获子进程异常，训练立刻崩。
核心思路不是“修图”，而是“跳过并记录”。实操上分两步：在 Dataset.__getitem__ 中加 try/catch，再配合 num_workers=0 初期调试或启用 spawn 启动方式避免子进程异常静默丢失。
- 必须在自定义
Dataset的__getitem__里包裹Image.open()调用，不能只 wraptransforms - 捕获具体异常比用
Exception更安全：OSError（文件不存在/权限）、UnidentifiedImageError（PIL 解码失败）、ValueError（通道数不匹配） - 返回一个占位样本（如全黑 tensor）+ 有效 label，或直接
raise SkipSample（需配合自定义 collate_fn 过滤） - 务必写日志：记录文件路径和错误类型，否则无法定位坏文件位置
如何让 DataLoader 跳过异常样本而不是终止
PyTorch 没有内置“skip on error”开关。靠 __getitem__ 返回 None 不行——default_collate 会报 TypeError: batch must contain tensors, numbers, dicts or lists。
真正可行的是：在 __getitem__ 中对损坏图像返回一个合法但带标记的样本（例如 img = torch.zeros(3, 224, 224) + label = -1），然后在训练循环中 if label == -1: continue；或者更干净的做法是写一个轻量 collate_fn：
def safe_collate(batch):
batch = [b for b in batch if b is not None] # 过滤掉 None
if len(batch) == 0:
return None
return torch.utils.data.dataloader.default_collate(batch)
对应地，在 __getitem__ 里遇到错误时直接 return None，再把 collate_fn=safe_collate 传给 DataLoader。注意：此时训练 step 数会变少，需在 epoch 级别统计有效 batch 数，而非依赖 len(dataloader)。
torchvision.io.read_image 能替代 PIL 避免崩溃吗
不能。它底层调用 libpng/libjpeg，对损坏文件同样会抛 RuntimeError（比如 “Invalid argument” 或 “Corrupted JPEG data”），且错误信息更不友好。它优势是支持更多格式（如 WebP）、更快，但容错性没提升。
如果你已用 read_image，只需把异常捕获点从 PIL.Image.open 换成 torchvision.io.read_image 调用处即可，逻辑不变。别指望换函数自动解决问题。
-
read_image(path, mode=ImageReadMode.RGB)仍可能因路径无效、磁盘 IO 错误、编码损坏而 crash - 它不支持所有 PIL 支持的格式（比如某些 TIFF 变体），切换前先确认数据集格式覆盖度
- 若用
decode=False，返回 raw bytes，后续 decode 步骤仍需自己 try/catch
训练中途发现大量损坏图像，怎么快速定位和清理
别等训练崩了再处理。用脚本预扫一遍数据集最省时间：
from PIL import Image
import os
<p>def check_image(path):
try:
img = Image.open(path)
img.verify() # 关键：触发实际解码校验
return True
except Exception as e:
print(f"BAD: {path} — {type(e).<strong>name</strong>}")
return False</p><p>for root, _, files in os.walk("data/train"):
for f in files:
if f.lower().endswith((".jpg", ".jpeg", ".png")):
check_image(os.path.join(root, f))</p>
注意：img.verify() 必须调用，否则 Image.open() 只读 header，不会暴露很多隐性损坏（如 JPEG SOS marker 缺失）。这个脚本能发现 95% 以上问题文件，比训练时靠运气撞出来高效得多。
真正麻烦的是那些“能打开但 shape 异常”的图（比如单通道当三通道用），这类得结合后续 transform 报错反查——所以日志里记下原始 img.mode 和 img.size 很关键。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
