
本文介绍使用 python 递归解压多层嵌套的 .gz 文件(即压缩包内含 .gz 文件,其内部又可能含 .gz),最终提取出原始 xml 等目标数据,并支持自定义输出路径。
本文介绍使用 python 递归解压多层嵌套的 .gz 文件(即压缩包内含 .gz 文件,其内部又可能含 .gz),最终提取出原始 xml 等目标数据,并支持自定义输出路径。
在实际数据处理中(如网络路由数据、日志归档或科研数据分发),常遇到“gz 套 gz”的嵌套压缩结构:一个顶层 .gz 文件解压后得到若干子 .gz 文件,而每个子文件再解压才得到真正的 XML、JSON 或文本数据。Python 标准库 gzip 本身不支持直接解压嵌套结构,但可通过递归解压 + 文件类型识别实现全自动展开。
以下是一个健壮、可扩展的递归解压函数:
import gzip
import shutil
import os
from pathlib import Path
def extract_gz_recursively(
gz_path: str,
output_dir: str = ".",
keep_intermediates: bool = False
) -> None:
"""
递归解压嵌套 .gz 文件,直至获得非 .gz 文件(如 XML、TXT 等)。
Args:
gz_path: 输入 .gz 文件路径
output_dir: 最终解压内容存放目录(默认为当前目录)
keep_intermediates: 是否保留中间解压出的 .gz 文件(默认 False)
"""
gz_path = Path(gz_path)
output_dir = Path(output_dir)
output_dir.mkdir(exist_ok=True)
# 构造解压后的文件名(移除最外层 .gz)
stem = gz_path.stem if gz_path.suffix == ".gz" else gz_path.name
extracted_path = output_dir / stem
# 解压当前 .gz 文件
try:
with gzip.open(gz_path, "rb") as f_in:
with open(extracted_path, "wb") as f_out:
shutil.copyfileobj(f_in, f_out)
print(f"✓ Extracted: {gz_path.name} → {extracted_path.name}")
except Exception as e:
print(f"✗ Failed to extract {gz_path.name}: {e}")
return
# 若解压结果仍是 .gz 文件,则递归处理
if extracted_path.suffix == ".gz" and extracted_path.is_file():
extract_gz_recursively(
extracted_path,
output_dir=output_dir,
keep_intermediates=keep_intermediates
)
# 可选:清理中间 .gz(仅当不保留时)
if not keep_intermediates:
extracted_path.unlink(missing_ok=True)
else:
# 已到达最终数据(如 XML),可选重命名或分类
if extracted_path.suffix.lower() in (".xml", ".txt", ".csv"):
print(f"→ Final data found: {extracted_path.name}")
# ✅ 使用示例:批量处理指定目录下所有 .gz 文件
if __name__ == "__main__":
INPUT_DIR = "./archives" # 存放顶层 .gz 文件的目录
OUTPUT_DIR = "./extracted" # 所有最终 XML 数据将落在此目录
for gz_file in Path(INPUT_DIR).glob("*.gz"):
extract_gz_recursively(gz_file, output_dir=OUTPUT_DIR)
关键说明与注意事项:
- 安全终止:函数通过检查 Path.suffix == ".gz" 判断是否继续递归,避免无限循环(如损坏文件导致错误后缀);
- 路径健壮性:使用 pathlib.Path 替代字符串拼接,自动处理跨平台路径分隔符;
- 错误防护:对 gzip.open() 加了异常捕获,防止单个损坏文件中断整个流程;
- 资源管理:中间文件默认自动清理(keep_intermediates=False),节省磁盘空间;
- 扩展建议:如需按层级组织输出(如 ./extracted/level1/level2/xmldata1.xml),可在递归调用时传入深度参数并构造子目录。
运行后,原结构 maingzfile/subgzfile1/xmldata1 将被完全展开,所有 .xml 文件统一存入 ./extracted/ 目录,无需人工干预——真正实现“一键穿透多层 GZIP”。











