Linux 中怎么使用 gzip 压缩传输中的大文件流-linux运维-PHP中文网

gzip通过管道实时压缩标准输入流，实现不落地、边产边压、即传即压；支持- c输出到stdout，配合tar、ssh、curl等完成流式传输与远程解压，并可调压缩等级平衡速度与率。

linux 中怎么使用 gzip 压缩传输中的大文件流

gzip 本身不直接处理“网络传输中的流”，但它非常擅长配合管道（pipe）和重定向，把正在生成或接收的数据流实时压缩，避免先写入磁盘再压缩，节省空间、提升效率。关键在于：不落地、边产边压、即传即压。

直接压缩标准输入流（最常用场景）

当你有命令输出（比如日志、数据库导出、tar 打包结果）需要立刻压缩并传输时，用 -c（或 --stdout）让 gzip 把压缩结果输出到 stdout，然后通过管道交给后续命令（如 ssh、nc、curl）：

# 示例1：压缩本地目录并直接通过 SSH 传到远程服务器
tar -cf - /var/log | gzip -c | ssh user@remote "cat > backup.tar.gz"

# 示例2：MySQL 导出 + 实时压缩 + 上传到远程 HTTP 接口（需服务端支持 raw body）
mysqldump mydb | gzip -c | curl -X POST --data-binary @- https://api.example.com/upload

# 示例3：实时抓取网络流量，压缩后存为远程文件（不落地）
tcpdump -i eth0 -w - | gzip -c | ssh user@backup "dd of=/backup/capture_$(date +%s).pcap.gz"

✅ 关键点：gzip -c 不删除源（因为没文件名），只压缩 stdin → stdout；tar -cf - 表示打包到 stdout；整个链条全程内存流转，零临时文件。

Linux Journey
当用户想学习Linux基础、命令行、文件系统等时，在LabEx查找并推荐免费的Linux Journey课程。

下载

压缩并解压远端流（双向流式处理）

如果对方也支持 gzip 流，可实现端到端压缩传输（节省带宽），且解压也在远端完成：

# 本地打包 → 压缩 → 发送 → 远端解压并提取（不保留 .gz 文件）
tar -cf - /home/app/config | gzip -c | ssh user@remote "gunzip -c | tar -xf - -C /tmp/deploy"

# 或更简洁（gunzip -c 等价于 gzip -dc）
tar -cf - /home/app/config | gzip -c | ssh user@remote "gzip -dc | tar -xf - -C /tmp/deploy"

控制压缩强度与性能平衡

流式场景下，压缩速度影响吞吐量。默认等级是 -6，但可根据网络/IO瓶颈调整：

-1 或 --fast：CPU 负载低，压缩快，适合高吞吐、弱 CPU（如嵌入式或千兆以上链路）
-9 或 --best：压缩率最高，适合慢速链路（如 WAN、卫星链路）或存储受限环境
-3 ~ -5：推荐折中选择，兼顾速度与压缩率（尤其对文本类日志、SQL、JSON 效果明显）

# 用 -3 压缩日志流，降低 CPU 占用同时保持 60%+ 压缩率
journalctl -u nginx | gzip -c -3 | nc backup-server 9000

注意事项与避坑提示

不要对已压缩数据再 gzip：图片、视频、PDF、ZIP 等本身已是高压缩格式，再 gzip 几乎不减小体积，反而增加 CPU 和延迟。
时间戳与文件名不重要？用 -n：流式压缩无原始文件名，加 -n 可省去保存元数据的开销（gzip -cn）。
确保远端有 gzip/gunzip：大多数 Linux 发行版默认自带；若无，提前安装（apt install gzip 或 yum install gzip）。

大流量下加 pv 监控进度（可选）：

tar -cf - /data | pv -b | gzip -c | ssh ...

不复杂但容易忽略。