直接用 pigz 替代 gzip 即可实现多核并行压缩,兼容标准 .gz 格式,安装简单且无需修改逻辑;常用方式包括管道压缩、tar 集成及替换内置压缩程序,并可通过 -p、-1、-k 等参数优化性能与资源占用。

直接用 pigz 替代 gzip 就能立刻跑满多核,不需要改逻辑、不破坏兼容性,压缩后仍是标准 .gz 格式,解压照常用 gunzip 或 gzip -d。
安装 pigz(一行搞定)
不同系统只需一条命令:
- Ubuntu/Debian:
sudo apt install pigz - CentOS/RHEL:
sudo yum install pigz或sudo dnf install pigz - 也可用 conda:
conda install -c conda-forge pigz
替换 gzip 的三种常用方式
核心原则:把原本交给 gzip 处理的数据流,换成由 pigz 接收并并行压缩。
-
mysqldump 直接压缩:
mysqldump -u root -p mydb | pigz > backup.sql.gz -
tar 打包+压缩一体化:
tar -cf - /data | pigz -p 4 > backup.tar.gz
(-p 4表示用 4 个线程;省略则自动用全部可用核心) -
替代 tar 内置 gzip:
tar --use-compress-program=pigz -cpvf backup.tar.gz /data
这样写法最接近传统习惯,且支持解压时也自动用 pigz 加速
控制资源,避免压垮服务器
多核加速虽好,但线程数不是越多越好,尤其内存或 I/O 已紧张时:
- 查当前逻辑 CPU 数:
nproc,一般设为该数值的 70%~100% - 限制线程数防抖动:
pigz -p 2(比如双核或内存小的机器) - 降低压缩级别换速度:
pigz -1比默认-6快 2–3 倍,体积只略大 - 保留原文件加
-k参数:pigz -k file.txt
验证是否真用了多核
执行中看 CPU 占用是否明显提升:
- 运行时执行:
htop或top,观察多个 cpu 核心是否同时活跃 - 确认 pigz 进程在运行:
ps aux | grep pigz - 对比耗时:同数据下,pigz 通常比 gzip 快 2–8 倍(取决于核心数和数据类型)
不复杂但容易忽略:只要把命令里 gzip 换成 pigz,管道一接,多核就动起来了。











