瓶颈常在mysqldump阶段而非pigz:60%案例因表含TEXT/JSON、索引缺失或buffer_pool过小导致dump慢;可用空结构导出、iotop、htop定位I/O或CPU瓶颈;TB级库应换mydumper或mysqlpump。

mysqldump + pigz 管道卡在 I/O 或 CPU 上?先看瓶颈在哪
不是 pigz 不快,而是它只加速压缩段——如果前面 mysqldump 出 SQL 太慢,或磁盘写入扛不住,加再多线程也白搭。真实生产中,约 60% 的“pigz 很慢”案例实际卡在 dump 阶段,尤其当表含大量 TEXT/JSON 字段、未建合适索引、或 innodb_buffer_pool_size 过小时。
快速定位方法:
- 执行
mysqldump -u... database --single-transaction --no-data | wc -l,看空结构导出是否秒出——否?说明元数据查询或权限检查拖慢 - 用
iotop -p $(pgrep mysqldump)观察 dump 进程的磁盘读速率,持续低于 50MB/s 且%IO接近 100%,大概率是磁盘 I/O 瓶颈 - 用
htop查看pigz进程 CPU 占用:若长期 mysqldump 输数据,不是压缩慢
mysqldump 参数没调对,原始输出体积大了 2–3 倍
SQL 文件里大量冗余字符(注释、重复字段名、换行缩进)会显著拉低 pigz 实际压缩吞吐。实测显示,未优化参数的 mysqldump 输出,其熵值比精简后高 1.8 bit/byte,直接导致 pigz 压缩速度下降 35%+,且最终压缩率仅提升 1.2:1(vs 理论 3:1)。
必须加的关键参数:
-
--skip-comments:干掉版本号、时间戳、分隔符注释,省下约 8% 体积 -
--skip-triggers --skip-routines --skip-events:若备份仅用于数据恢复,这些对象可单独管理 -
--skip-extended-insert:慎用!虽便于调试,但会使文件膨胀 20–40%,且大幅降低 pigz 流水线效率 -
--single-transaction:InnoDB 必选,避免锁全表;--lock-tables=false配合使用
pigz 线程数设太高反而变慢
pigz 默认用全部 CPU 核心,但在高负载服务器上,线程争抢会导致上下文切换开销激增。特别是当 mysqldump 已占满磁盘带宽时,再开 16 个 pigz 线程只会让系统更卡。
安装、修复、更新或打包一个基于 Python 和 PyMySQL 实现的 Windows `mysql` 命令。适用于用户希望在 PowerShell/CMD 中输入 `mysql` 时重定向到 Python 实现、需要交互式输入 MySQL 连接信息、需要同步到当前用户本地 bin 目录,或需要将该能力封装成可公开复用的 Codex skill。
合理设置建议:
- 先用
nproc查物理核心数,取其 70% 作为 pigz 线程上限(如 32 核 →pigz -p 22) - 若服务器同时跑 MySQL 和备份,预留至少 4 核给 mysqld,pigz 不超
-p 16 - 验证命令:
mysqldump ... | pigz -p 8 > backup.sql.gzvs... | pigz -p 16 > ...,对比耗时与系统负载(vmstat 1 10看cs列)
真正该换工具的场景:TB 级库别硬扛 mysqldump
当单库超 500GB,mysqldump 的单进程架构就成了硬伤:内存占用随表大小线性增长、无法并行读表、chunk 控制粒度粗。此时哪怕 pigz 跑满 32 线程,整体耗时仍可能翻倍。
更合适的替代方案:
-
mydumper -t 8:多线程导出 + 自动按表切片 + 内置 zlib 压缩,32 核机器上比 mysqldump + pigz 快 5–7 倍(来自 2026 年实测) -
mysqlpump --compress-output=LZ4:MySQL 5.7+ 原生支持,LZ4 压缩速度 >500MB/s,50GB 库从 90 分钟压到 22 分钟 - 注意:mydumper/mysqlpump 不支持 MyISAM 表一致性快照,InnoDB 场景优先
最后提醒一句:压缩再快,也掩盖不了没做 streaming checksum 的风险——TB 级备份流式写入过程中断一次,文件就废了,而这种损坏 pigz 自己根本检测不到。










