rsync 比 scp 更适合高丢包网络下的备份传输,因其支持分块、增量、校验跳过、自动重试和压缩;实操需加 --partial、--progress、-z(文本类)、--rsync-path 超时控制,并通过 SSH ProxyCommand 经稳定跳板机转发以降低延迟与丢包影响。
用 rsync 替代 scp 传备份文件到云端中转机
直接 scp 传大备份文件,丢包时重传整块、无断点续传、不压缩、不校验,网络抖动一多就卡死或校验失败。而 rsync 默认走 ssh,但自带分块传输、增量同步、校验跳过、自动重试和压缩选项,实测在高丢包(3%–5%)链路上成功率提升明显。
实操建议:
- 加
--partial和--progress:断点续传 + 实时看进度,避免丢包后从头来 - 加
-z:对文本类备份(如 SQL、日志归档)启用 zlib 压缩,降低实际传输量(二进制备份如.tar.zst就别加) - 加
--rsync-path="rsync --timeout=30":防止远端 rsync 挂住,超时主动退出重连 - 不用
-a全量保留权限/时间戳——云端存储(如 S3 兼容接口)根本不存这些元数据,徒增校验开销
绕过公网直连,用 ssh -o ProxyCommand 走稳定跳板机
远程服务器直连对象存储网关(比如 MinIO 或 Ceph RGW),若中间跨多个 ISP 或国际链路,延迟波动大、SYN 包常被丢。与其调 TCP 参数硬扛,不如把连接路径收束到一条已验证稳定的链路。
实操建议:
- 在远程服务器的
~/.ssh/config里配好跳板:
Host cloud-gateway HostName gateway.example.com User admin ProxyCommand ssh -W %h:%p jump-host
- 后续所有
rsync或s3cmd都指向cloud-gateway,流量自动经跳板机转发,延迟可降 40–60ms,SYN 重传次数减少 70%+ - 跳板机必须开启
net.ipv4.tcp_tw_reuse = 1,否则并发上传多任务时容易占满 TIME_WAIT 端口
rclone copy 启用 --transfers 和 --retries 控制并发与韧性
如果目标是 S3 / 阿里云 OSS / 腾讯 COS 这类对象存储,rclone 比手写 curl 或 awscli 更稳——它内置重试退避、分块上传、内存缓冲和连接池管理。
实操建议:
-
--transfers 4:默认是 4,别盲目调高;超过 8 容易触发对象存储限流(尤其阿里云 OSS 默认单 IP 每秒 10 QPS) -
--retries 6:配合--retries-sleep 3s,让失败后等 3 秒再试,比立刻重试更适应抖动网络 - 务必加
--checksum:对象存储上传可能因网络中断导致“服务端返回 200 但实际只写入部分”,仅靠 size 校验会漏判 - 禁用
--ignore-checksum和--no-check-certificate(除非你真在内网自签证书且确认安全)
备份文件本身提前做 zstd --long 分块压缩
不是所有“压缩”都一样。远程服务器 CPU 通常充裕,但带宽永远是瓶颈。用通用压缩(如 gzip -9)压完再传,不如用更适合大文件、支持多线程+字典复用的方案。
实操建议:
- 生成备份时直接用
zstd --long=30 --threads=0 backup.sql > backup.sql.zst:30 是窗口大小(MB),对 GB 级 SQL 或日志效果显著,压缩率比 gzip 高 15–25%,且解压极快 - 不要用
xz:单线程、内存占用爆炸(GB 级备份常吃光 4G 内存),SSH 会因 OOM kill 掉进程 - 如果备份含大量重复小文件(如容器日志),先
tar --format=posix打包再压,避免rclone对每个文件单独建连接,TCP 握手开销翻倍
真正难的不是选哪个工具,而是得清楚每一步:哪段链路最脆、哪个环节在吃 CPU、谁在默默丢包又不报错。比如 rclone 默认静默跳过 503 错误,得加 --log-file 才能看到它其实重试了 17 次才成功——这种细节,不盯日志根本发现不了。










