如何给日志切割脚本添加错误重试机制

冬枫姑娘_7477

冬枫姑娘_7477

2026-09-15

142人浏览

原创

日志切割脚本失败需内部重试而非依赖crontab,因crontab不感知执行结果;应按错误类型区分可重试(如“no such file”“text file busy”)与不可重试(如权限拒绝、进程不存在),采用指数退避+随机抖动的while循环重试,并归档失败详情、绝对路径调用命令。

如何给日志切割脚本添加错误重试机制

日志切割脚本本身失败概率低,但一旦失败(如 kill -USR1 无响应、mv 权限不足、nginx.pid 不存在),会导致后续日志堆积、监控失效或磁盘爆满——必须加重试,且不能靠 crontab 重跑(它只按时间触发,不感知上次是否成功)。

为什么直接在 crontab 里加重试没用

crontab 不判断命令退出码,0 0 * * * /usr/local/nginx/sbin/cut_nginx_log.sh 即使脚本第 1 行就 exit 1,第二天同一时间仍会再执行一次,不会“接着上次失败点重试”。重试逻辑必须下沉到脚本内部。

重试前先区分哪些错误值得重试

盲目重试反而掩盖问题。需在脚本中根据错误类型做判断:

  • mv: cannot stat 'access.log': No such file or directory → 可能是 Nginx 没写日志,属临时状态,可重试
  • kill: (12345): No such process → nginx.pid 丢失或 Nginx 崩溃,需人工介入,不重试
  • Permission denied → 权限配置错误,永久性故障,不重试
  • Text file busy → 文件正被写入,典型瞬时冲突,应重试

建议用 stderr 关键词匹配 + $? 组合判断:

onewo-rtlinux
onewo-rtlinux

Linux 实时编程助手。生成、审查并修改用于周期性控制任务和中断驱动程序的 C 代码。强制实施实时调度策略。

下载
if [[ $? -ne 0 ]] && grep -q -E "(No such file|Text file busy|Device or resource busy)" "$LOG_TMP"; then
  should_retry=true
fi

用 while 循环实现带退避的有限重试

不要用 for ((i=1; i 简单轮询——它固定等长间隔,容易和上游服务限流节奏共振。改用指数退避 + 随机抖动:

  • 最大重试次数设为 MAX_RETRY=3(覆盖绝大多数瞬时问题)
  • 第 1 次失败后 sleep 1,第 2 次 sleep 2,第 3 次 sleep 4
  • 实际 sleep 时间加 ±20% 随机抖动:sleep $(echo "scale=1; $((2 ** attempt)) * (0.8 + $RANDOM/32767*0.4)" | bc)
  • 每次重试前重新生成 today 时间戳,避免跨天切割错乱

关键:重试循环必须包裹整个切割主干(mv + kill -USR1),而不是只包某一条命令。

失败后必须归档原始错误并告警

重试耗尽后,静默退出等于没重试。要留下可追溯线索:

  • 把完整 stderr 输出、nginx -t 校验结果、ls -l $log_path 快照打包进 /var/log/nginx/cut_failures/cut_$(date +%s).tar.gz
  • 用 mail -s "NGINX log cut failed" 或 curl 推送钉钉机器人(仅一次,不放循环里)
  • 在 crontab 条目末尾加 >> /var/log/nginx/cut.log 2>&1,确保所有重试过程都被捕获

最易被忽略的一点:cut_nginx_log.sh 必须用绝对路径调用 mv、kill、date(如 /bin/mv),因为 cron 的 PATH 极窄,which mv 在交互 shell 里能用,cron 里常报 command not found。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

2026.09.23

60

15

Buffalo框架路由与请求处理实操指南
Buffalo框架路由与请求处理实操指南

本专题讲解Buffalo框架路由与请求处理机制,涵盖路由注册与分组、资源路由、Handler编写规范、Context上下文方法、参数绑定、中间件编写挂载、Session与Cookie读写、Flash消息及错误页面定制方法。

2026.09.23

20

15

Buffalo框架零基础入门教程
Buffalo框架零基础入门教程

本专题整理Buffalo框架入门内容,涵盖Go环境准备、buffalo CLI安装、新项目生成、目录结构说明、dev热加载启动、数据库连接配置与常见报错排查,帮助新手按约定优于配置的思路跑通第一个Buffalo框架应用。

2026.09.23

20

15

Conan创建软件包配方指南
Conan创建软件包配方指南

本专题介绍通过conanfile.py创建软件包的方法,讲解包名、版本、依赖和构建设置等基础信息,以及source、build、package、package_info等常用方法的作用及编写思路。

2026.09.22

20

12

Conan二进制包配置指南
Conan二进制包配置指南

本专题介绍Conan根据操作系统、编译器、架构和构建类型生成二进制包的方法,讲解Profile、Settings、Options及Package ID的作用,帮助管理不同平台和编译环境下的包版本。

2026.09.22

20

13

Conan私有仓库搭建教程
Conan私有仓库搭建教程

本专题系统的讲解Conan私有仓库的搭建流程,涵盖仓库服务部署、存储目录配置、用户认证、权限划分和远程地址添加,并介绍内部C++依赖包的上传、下载及版本维护方法。

2026.09.22

20

19

loomy官网入口地址合集
loomy官网入口地址合集

本专题汇总了 Loomy 桌面 AI 助理的官方入口地址合集及使用指南。提供 macOS 与 Windows 客户端下载 。Loomy 是讯飞推出的桌面级 AI 工作搭子,支持文件整理、数据分析、网页操作及通过飞书/钉钉远程操控电脑,助你高效完成本地办公任务 。

2026.09.22

20

19

NumPy常见函数使用方法
NumPy常见函数使用方法

本专题整理 NumPy 常见函数使用方法相关教程,覆盖函数大全、参数用法、数组运算、统计聚合、排序处理、where 条件筛选、linspace 创建数列等常用场景,帮助读者快速掌握 NumPy 函数调用思路和实际数据处理技巧。

2026.09.22

40

21

NumPy性能优化版本更新与常见报错排查
NumPy性能优化版本更新与常见报错排查

本专题整理 NumPy 性能优化、版本更新与常见报错排查相关教程,覆盖向量化计算、广播性能、内存布局、NumPy 2.0 升级、版本兼容冲突、安装导入报错、dtype 溢出、矩阵运算异常和 broadcasting 报错修复,帮助读者系统掌握 NumPy 性能调优与问题定位方法。

2026.09.22

60

25

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Linux 教程
Linux 教程

共28课时 | 56.8万人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习