如何避免 Hugging Face 模型重复下载-Python教程-PHP中文网

本文详解在使用 Hugging Face diffusers 加载 Stable Diffusion 等大模型时，如何通过本地缓存或手动保存模型来彻底避免每次运行都重复下载数 GB 文件的问题，并提供可直接复用的代码示例与关键注意事项。

本文详解在使用 hugging face `diffusers` 加载 stable diffusion 等大模型时，如何通过本地缓存或手动保存模型来彻底避免每次运行都重复下载数 gb 文件的问题，并提供可直接复用的代码示例与关键注意事项。

在深度学习开发中，频繁重复下载大型预训练模型（如 Stable Diffusion v1-4，体积超 4GB）不仅浪费带宽和时间，还会显著拖慢实验迭代效率。Hugging Face 的 diffusers 库默认将模型缓存在用户主目录下的全局缓存区（如 ~/.cache/huggingface/hub/），但若环境隔离（如 Docker 容器、无持久化临时环境）或缓存路径被意外清理，from_pretrained() 就会重新触发完整下载。幸运的是，Hugging Face 提供了两种稳定、高效且生产就绪的解决方案：显式指定缓存目录 和 本地持久化保存/加载模型。

✅ 方案一：通过 cache_dir 参数强制复用本地缓存

这是最轻量、推荐的首选方式。只需在首次加载时传入自定义 cache_dir，后续调用将自动命中该路径，跳过网络请求：

from diffusers import StableDiffusionPipeline

# 首次运行（自动下载并缓存到 ./my_cache/）
pipe = StableDiffusionPipeline.from_pretrained(
    "CompVis/stable-diffusion-v1-4",
    cache_dir="./my_cache/",
    use_auth_token=True,  # 如需访问私有模型，请确保已登录或提供 token
).to("cuda")

# 后续运行（完全离线，秒级加载）
pipe = StableDiffusionPipeline.from_pretrained(
    "CompVis/stable-diffusion-v1-4",
    cache_dir="./my_cache/",
    use_auth_token=True,
).to("cuda")

⚠️ 注意事项：

cache_dir 必须是绝对路径或相对于当前工作目录的稳定路径；若使用相对路径，请确保脚本执行位置固定。

该目录下会生成以模型 ID 命名的子文件夹（如 CompVis/stable-diffusion-v1-4），内含所有 .safetensors、配置文件及 tokenizer 数据。

若需跨项目共享缓存，可统一设置环境变量 HF_HOME=./shared_cache，所有 Hugging Face 库将自动使用该根目录。

✅ 方案二：手动保存与加载模型（完全离线部署）

适用于需要模型文件 100% 可控、打包分发或部署到无外网环境的场景。它将模型序列化为标准文件结构，后续完全脱离 Hugging Face Hub 运行：

from diffusers import StableDiffusionPipeline

# 步骤 1：首次下载并保存（仅执行一次）
pipe = StableDiffusionPipeline.from_pretrained(
    "CompVis/stable-diffusion-v1-4",
    use_auth_token=True,
)
pipe.save_pretrained("./stable-diffusion-v1-4-local/")  # 生成完整本地模型目录

# 步骤 2：后续直接从本地加载（无需网络、无需 token）
pipe = StableDiffusionPipeline.from_pretrained(
    "./stable-diffusion-v1-4-local/"
).to("cuda")

此方式生成的目录结构与 Hugging Face Hub 上的仓库完全一致，包含 model_index.json、unet/、vae/、text_encoder/ 等子目录，可直接作为 Git 子模块、Docker 构建上下文或 CI/CD 资产管理。