如何检测归档文件是否损坏

老涛大大_1769

老涛大大_1769

2026-07-11

909人浏览

原创

如何检测归档文件是否损坏

本文介绍在批量下载大量 zip/rar/7z 归档文件后,如何通过 python 安全、高效地批量验证其完整性,涵盖各格式对应的异常类型、测试逻辑设计、多线程优化实践及常见误判规避策略。

本文介绍在批量下载大量 zip/rar/7z 归档文件后,如何通过 python 安全、高效地批量验证其完整性,涵盖各格式对应的异常类型、测试逻辑设计、多线程优化实践及常见误判规避策略。

在面对数百个从 Nexus Mods 等第三方平台下载的归档文件(如 .zip、.rar、.7z 及伪装格式如 .dazip)时,网络不稳定(尤其受 GFW 干扰)、服务降级(如 NexusMods 当前“Degraded Performance”状态)以及并发下载逻辑简化等因素,极易导致部分文件写入不完整或内容被截断——即使文件头魔数(Magic Number)校验通过(如 b'PK\x03\x04'),也无法保证内部数据结构有效。因此,仅靠文件大小或魔数检测远远不够,必须执行深度完整性验证。

✅ 核心验证策略:统一接口 + 异常捕获 + 显式返回值判断

Python 生态中主流归档库提供了各自的校验方法,但行为不一,需统一抽象:

格式 库 推荐验证方法 正常返回 损坏表现
.zip / .dazip zipfile ZipFile.testzip() None(无损坏) OSError、BadZipFile 或解压错误(如 zlib.error: invalid distance too far back)
.rar rarfile RarFile.testrar() None(无损坏) rarfile.BadRarFile(含 read failed、Corrupt file 等子类消息)
.7z py7zr SevenZipFile.test() + testzip() 组合 两者均返回 None 初始化即抛 py7zr.Bad7zFile;或 testzip() 抛 LZMAError(如 Corrupt input data)

⚠️ 注意:testzip() 在 ZIP 中可能返回首个损坏文件名(字符串),而非异常;而 RAR/7Z 的 test* 方法通常直接抛异常。因此统一逻辑应为:若函数返回非 None 值,或任何异常被触发,即判定为损坏。

? 安全异常捕获:不滥用 except:,但覆盖全部归档相关异常

你无需穷举所有可能异常类型——实际只需捕获明确由归档解析/校验过程抛出的已知异常类及其基类。推荐按层级捕获(自底向上),兼顾健壮性与可维护性:

from zipfile import BadZipFile, LargeZipFile
from rarfile import BadRarFile, NotRarFile
from py7zr import Bad7zFile, UnsupportedCompressionMethodError
import zlib, lzma, bz2

ARCHIVE_EXCEPTIONS = (
    # ZIP 相关
    BadZipFile, LargeZipFile, zlib.error,
    # RAR 相关
    BadRarFile, NotRarFile,
    # 7Z 相关
    Bad7zFile, lzma.LZMAError, bz2.BZ2Error,
    # 通用 I/O 或解压底层错误
    OSError, ValueError, RuntimeError
)

def is_archive_corrupt(filepath: str) -> bool:
    ext = filepath.lower().rsplit('.', 1)[-1]
    try:
        if ext in ('zip', 'dazip'):
            with ZipFile(filepath) as zf:
                return zf.testzip() is not None
        elif ext == 'rar':
            with RarFile(filepath) as rf:
                rf.testrar()  # 成功则无返回,失败抛异常
                return False
        elif ext == '7z':
            with SevenZipFile(filepath) as szf:
                szf.test()      # 结构校验
                szf.testzip()   # 内容校验(需显式调用)
                return False
        else:
            return True  # 不支持格式视为损坏
    except ARCHIVE_EXCEPTIONS:
        return True
    except Exception as e:
        # 记录未预期异常(用于调试),但仍判为损坏
        print(f"[WARN] Unexpected error on {filepath}: {type(e).__name__}: {e}")
        return True

该方案避免了宽泛的 except:,同时覆盖了所有已知归档损坏场景的异常基类,兼顾准确性与扩展性。

Codiga
Codiga

Codiga是一款面向 IDE 和 CI/CD 的实时静态代码分析与自动代码审查工具。

下载

⚡ 高效批量验证:多线程而非伪异步

由于 zipfile、rarfile、py7zr 均为 CPU/IO 密集型同步库,强行套用 asyncio + ThreadPoolExecutor 是合理选择(而非尝试“异步归档库”——如 asynczip 实为 itertools.zip 的异步包装,async7zip 缺乏元信息支持)。关键优化点:

  • *线程数设为 `min(8, os.cpu_count() 2)`**:平衡 IO 等待与 CPU 解压开销;
  • 使用 concurrent.futures.as_completed:避免阻塞,及时反馈结果;
  • 跳过已知损坏路径(如分卷 RAR):提前过滤 *.r00, *.part1.rar 等,避免 Need to start from first volume 类误报。

示例批量执行逻辑:

from concurrent.futures import ThreadPoolExecutor, as_completed
from pathlib import Path

def batch_verify_archives(root_dir: str, workers: int = 8):
    paths = [p for p in Path(root_dir).rglob("*") 
             if p.is_file() and p.suffix.lower() in (".zip", ".dazip", ".rar", ".7z")]

    corrupted = []
    with ThreadPoolExecutor(max_workers=workers) as executor:
        future_to_path = {executor.submit(is_archive_corrupt, str(p)): p for p in paths}
        for future in as_completed(future_to_path):
            path = future_to_path[future]
            try:
                if future.result():
                    corrupted.append(str(path))
                    print(f"❌ Corrupted: {path.name}")
            except Exception as e:
                corrupted.append(str(path))
                print(f"⚠️  Failed to verify {path.name}: {e}")

    print(f"\n✅ Total files: {len(paths)}, ❌ Corrupted: {len(corrupted)}")
    return corrupted

# 调用
bad_files = batch_verify_archives("d:/downloads/mods/dragonage/")

? 补充建议:预防 > 检测

  • 下载阶段校验:优先获取并验证 Content-MD5 或 ETag(若服务器提供),比事后解压快百倍;
  • 断点续传 + 分块哈希:对大文件启用 Range 请求,并在下载后计算 sha256 与 NexusMods 提供的 checksum 比对(部分 mod 页面展示);
  • 静默修复机制:对确认损坏的文件,自动重试下载(带退避策略),而非仅标记。

最终,一套鲁棒的归档验证流程 = 魔数初筛 + 深度结构校验 + 多线程并发 + 分类异常处理 + 下载层加固。它不追求“零异常”,而是将不确定性转化为可操作、可审计、可重试的确定性结果——这正是工程化批量处理的核心要义。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1951

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

5584

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1909

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

34117

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3987

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

4007

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1283

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

636

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

3103

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.3万人学习