Shell脚本实战怎么在网络抖动时利用带退避重试机制的脚本保证数据传输

轻静酱_1206

轻静酱_1206

2026-07-31

1099人浏览

原创

应采用“指数退避+随机抖动+失败分类+超时保护”四合一重试函数:基础间隔100ms~500ms,倍数为2,每次休眠时间=base×2^attempt×(1±0.3),最大重试6~8次,总耗时≤3分钟;仅对5xx、连接超时等临时错误重试,跳过4xx等永久错误;加timeout限制总耗时,用flock防并发,记录详细日志并自动归档失败响应。

shell脚本实战怎么在网络抖动时利用带退避重试机制的脚本保证数据传输

在网络抖动场景下,Shell脚本不能靠简单循环+固定sleep硬扛——那样容易集体重试、撞上抖动峰值、触发限流甚至压垮目标服务。真正可用的方案是把“指数退避 + 随机抖动 + 失败分类 + 超时保护”四者打包进一个可复用的重试函数。

核心:写一个带 jitter 的指数退避重试函数

直接用 sleep 1; sleep 2; sleep 4 是危险的。必须引入随机性(jitter),让每次重试时间在理论值上下浮动 30%~50%,避免多个任务同步冲击。

  • 基础间隔设为 100ms~500ms(太短没错峰效果,太长拖慢恢复)
  • 退避倍数用 2(即 0.2s → 0.4s → 0.8s → 1.6s…)
  • 每次 sleep 时间 = base * (2 ** attempt) * (1 ± random_factor),推荐 random_factor 取 0.3
  • 最大重试次数建议 6~8 次,总耗时控制在 2~3 分钟内

只对可重试错误重试,跳过永久性失败

不是所有失败都该重试。比如 curl 返回 curl: (7) Failed to connect 或 timeout 属于典型网络抖动,可重试;但返回 400 Bad Request 或 401 Unauthorized 就不该再试——重试只会重复报错。

NexChatGPT
NexChatGPT

NexChatGPT是一款把 ChatGPT 能力接入 JetBrains 和 VS Code 的 AI 编程插件。

下载
  • 用 curl -s -w "%{http_code}" -o /dev/null 获取状态码,再判断是否在 5xx 范围
  • 检查 stderr 输出是否含 "Connection refused"、"Operation timed out"、"Network is unreachable"
  • 对关键操作(如上传文件、提交订单),重试前先用轻量请求查状态,确认不是业务侧已成功

加超时和资源隔离,防止单次卡死拖垮整条流水线

一次 hang 住,可能让定时任务堆积、锁文件残留、临时目录占满磁盘。

  • 给整个重试块加硬性超时:timeout 120s bash -c 'retry_upload'(限制总耗时 2 分钟)
  • 每次重试生成唯一 ID:run_id=$(date +%s)-$$,日志、临时文件、锁路径都带上它
  • 用 flock 锁住关键资源,防止同一任务被多个实例并发执行:flock -n /tmp/upload.lock -c "curl ..."

记录过程、暴露状态,方便人工介入

重试不是黑盒。每次尝试要记清时间、耗时、错误原因、HTTP 状态码或 exit code,失败后自动归档原始响应体。

  • 日志格式示例:[2026-07-21T09:15:22] attempt=3, delay=1.24s, code=0, error="Connection timeout"
  • 连续 3 次失败且间隔趋近上限(如都 >1.5s),自动标记为 “疑似永久失败”,停止重试并发告警
  • 失败时把 curl 的 -v 输出截取前 20 行存入 /var/log/retry_failures/${run_id}.log

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

2023.06.21

4190

4

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

2023.06.29

3533

10

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2023.06.30

2773

5

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

2023.07.05

6750

7

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

2023.07.06

6402

7

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.20

3693

8

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2023.07.20

3185

4

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

2023.07.25

3419

6

linux查找文件命令
linux查找文件命令

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.31

297

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
尚观shell视频教程
尚观shell视频教程

共8课时 | 1.9万人学习

Linux开发视频教程
Linux开发视频教程

共18课时 | 4.6万人学习

Perl 入门教程
Perl 入门教程

共29课时 | 31.4万人学习