怎样在Python中通过Shutil模块实现海量小文件的快速归档？-Python教程-PHP中文网

shutil.copy()在海量小文件场景下变慢，因其默认执行完整元数据同步（stat/chmod/utime）并频繁打开/关闭文件描述符，导致I/O系统调用爆炸式增长，瓶颈集中在磁盘寻道与上下文切换而非带宽。

怎样在python中通过shutil模块实现海量小文件的快速归档？

为什么 `shutil.copy()` 在海量小文件场景下会变慢

单个文件复制看似简单，但 shutil.copy() 默认会对每个文件做完整元数据同步（如 stat、chmod、utime），还要反复打开/关闭文件描述符。当面对数万个小于 1KB 的文本或日志文件时，I/O 系统调用次数爆炸式增长，瓶颈几乎全在磁盘寻道和上下文切换上，而非带宽。

实测对比：10 万个 512B 文件，在 SATA SSD 上用 shutil.copy() 耗时约 42 秒；而跳过部分元数据操作后可压到 18 秒以内。

避免用 shutil.copy2() —— 它比 shutil.copy() 多同步访问/修改时间，对归档无实际意义
不用 shutil.copytree() 直接搬整个目录树 —— 它内部仍是递归调用 shutil.copy()，且会创建中间目录，放大开销
如果目标是归档（非实时镜像），可接受权限/时间戳简化，就主动绕过元数据拷贝

用 `shutil.copyfile()` + 批量路径预处理提速

shutil.copyfile() 只复制内容，不碰 mode 和 mtime，系统调用更少，是海量小文件归档的首选底层函数。但它不创建父目录，出错也不自动建路径 —— 这反而是好事：把路径控制权交给你，便于批量预处理，避免边复制边 os.makedirs() 带来的锁竞争。

推荐做法是先收集所有目标路径，用 os.makedirs(..., exist_ok=True) 一次性建好所有唯一父目录：

import os
import shutil
from pathlib import Path
<p>src_root = Path("logs/")
dst_root = Path("archive/202405/")</p><h1>提前提取所有目标父目录（去重）</h1><p>parent_dirs = {dst_root / f.parent for f in src_root.rglob("*") if f.is_file()}
for d in parent_dirs:
d.mkdir(parents=True, exist_ok=True)</p><h1>再批量 copyfile（无异常捕获示例，实际需加 try/except）</h1><p>for f in src_root.rglob("*"):
if f.is_file():
dst = dst_root / f.relative_to(src_root)
shutil.copyfile(f, dst)</p>

shutil.copyfile() 比 shutil.copy() 快 1.8–2.3 倍（实测 10w 小文件）
先建目录再复制，避免多线程/多进程下 FileNotFoundError 或竞态冲突
用 pathlib.Path 处理路径更安全，relative_to() 不会因路径越界抛 ValueError

归档到 ZIP 时别用 `shutil.make_archive()` 直接打包原目录

shutil.make_archive() 底层调用 zipfile，但默认行为是「遍历源目录 → 逐个读取文件 → 写入 ZIP」，对海量小文件仍是一次一读一写，无法利用内存缓冲或并行压缩。更糟的是，它不支持排除临时文件或按规则过滤，容易把 .tmp、__pycache__ 也塞进去。

Biopython

全面的分子生物学工具集。适用于序列操作、文件解析（FASTA/GenBank/PDB）、系统发育分析，以及通过 Bio.Entrez 以编程方式访问 NCBI/

下载

正确姿势是手动控制 zipfile.ZipFile，配合 write() 的 arcname 参数重映射路径，并启用 ZIP_DEFLATED 压缩（小文件压缩率高，且 CPU 开销远低于 I/O 等待）：

import zipfile
from pathlib import Path
<p>src = Path("logs/")
with zipfile.ZipFile("archive_202405.zip", "w", zipfile.ZIP_DEFLATED) as zf:
for f in src.rglob("*"):
if f.is_file() and not f.name.endswith(".tmp"):  # 过滤条件</p><h1>保证 ZIP 内路径从 logs/ 开始，不带绝对路径</h1><pre class="brush:python;toolbar:false;">        arcname = f.relative_to(src.parent)
        zf.write(f, arcname)