如何验证从 URL 下载的文件是否完整无损-Python教程-PHP中文网

如何验证从 URL 下载的文件是否完整无损

本文介绍在缺乏预置校验和（如 md5/sha256）的情况下，如何通过流式哈希计算与服务端提供的校验值比对，可靠判断 python 下载文件的完整性，适用于 pdf、zip、iso 等各类二进制文件。

本文介绍在缺乏预置校验和（如 md5/sha256）的情况下，如何通过流式哈希计算与服务端提供的校验值比对，可靠判断 python 下载文件的完整性，适用于 pdf、zip、iso 等各类二进制文件。

在自动化下载场景中，仅靠 HTTP 状态码（如 200 OK）或文件大小粗略判断无法保证文件完整性——网络中断、代理截断、服务器响应异常都可能导致文件损坏却“看似正常”。唯一可靠的方式，是在下载过程中同步计算哈希值，并与服务端公开发布的校验和（checksum）进行比对。 虽然你当前没有获取到校验值，但绝大多数正规发布平台（如 Python.org、Ubuntu 官网、GitHub Releases、Apache 镜像站）均会在下载页明确提供 MD5、SHA256 或 SHA512 值。关键在于主动查找并将其纳入校验流程。

以下是一个生产就绪的下载+校验一体化示例，采用流式读取（避免内存溢出）、支持大文件、并实时输出进度提示：

import hashlib
import requests
from pathlib import Path

def download_and_verify(url: str, local_path: Path, expected_hash: str, hash_algo: str = "md5") -> bool:
    """
    下载文件并验证其完整性（支持 md5/sha256/sha512）
    :param url: 文件下载 URL
    :param local_path: 本地保存路径（Path 对象）
    :param expected_hash: 服务端提供的小写十六进制校验值（如 'a1b2c3...'）
    :param hash_algo: 哈希算法名称，支持 'md5', 'sha256', 'sha512'
    :return: 校验成功返回 True，否则 False
    """
    hasher = getattr(hashlib, hash_algo)()
    chunk_size = 8192

    try:
        with requests.get(url, stream=True, timeout=30) as response:
            response.raise_for_status()  # 抛出 4xx/5xx 错误

            local_path.parent.mkdir(parents=True, exist_ok=True)
            with local_path.open("wb") as f:
                print(f"? 开始下载: {url.split('/')[-1]}...", end="", flush=True)
                for chunk in response.iter_content(chunk_size):
                    if chunk:  # 过滤空块
                        f.write(chunk)
                        hasher.update(chunk)

            actual_hash = hasher.hexdigest()
            is_valid = actual_hash == expected_hash.lower()
            print(f" {'✅ 有效' if is_valid else '❌ 损坏/不匹配'} | {hash_algo.upper()}: {actual_hash}")
            return is_valid

    except requests.RequestException as e:
        print(f" ⚠️  下载失败: {e}")
        return False
    except OSError as e:
        print(f" ⚠️  写入失败: {e}")
        return False

# 使用示例（以 Python 3.13.2 macOS 安装包为例）
URL = "https://www.python.org/ftp/python/3.13.2/python-3.13.2-macos11.pkg"
LOCAL_PATH = Path("./downloads/python-3.13.2-macos11.pkg")
EXPECTED_MD5 = "9916903cff14723bdbc41e3ed5530eeb"

success = download_and_verify(URL, LOCAL_PATH, EXPECTED_MD5, "md5")
if not success:
    LOCAL_PATH.unlink(missing_ok=True)  # 自动清理损坏文件

重要注意事项：

✅ 必须从可信来源获取校验值：切勿自行猜测或使用第三方未验证的哈希值；优先查阅官网下载页、SHA256SUMS 文件或 *.asc 签名文件。
✅ 推荐使用 SHA256 替代 MD5：MD5 已存在碰撞风险，生产环境应首选 sha256（将 hash_algo="sha256" 并提供对应 64 位校验值）。
⚠️ 禁止跳过校验直接使用：若完全无法获取校验值，可退而求其次检查 Content-Length 头与实际写入字节数是否一致（仅防截断，不防内容篡改），但该方式不能替代哈希校验。
? 增强健壮性建议：结合重试机制（如 tenacity 库）、临时文件原子写入（先写 .tmp 后重命名）、以及日志记录，构建企业级下载管道。