怎么在Linux利用Logrotate配置针对TB级大日志的非阻塞式切分保存

陌静吖_2080

陌静吖_2080

2026-05-31

633人浏览

原创

TB级日志轮转关键在于非阻塞:需以size为首要触发条件(如size 5G)、禁用copytruncate、用postrotate精准发信号重开日志、归档分层控制(delaycompress+olddir),并支持强制轮转与实时监控。

怎么在linux利用logrotate配置针对tb级大日志的非阻塞式切分保存

针对TB级大日志,关键不是“能不能切”,而是“切时不中断写入、不丢日志、不卡服务、不压垮磁盘IO”。logrotate 本身不阻塞应用,但配置不当会引发风险——比如没发信号通知重开日志,或用了 copytruncate 却忽略其清空原文件的副作用。真正实现非阻塞式切分,需同时满足:轮转触发精准(避免等周期)、切割动作原子(不挪动活跃文件)、服务感知及时(立刻切换写入目标)、归档清理可控(防磁盘夯住)。

用 size + postrotate 替代时间周期

TB级日志意味着单个文件可能几小时就涨到上百GB。依赖 daily 或 weekly 完全不可控,极易在轮转前撑爆磁盘。必须以大小为第一触发条件,且设置合理阈值:

  • size 5G:比单次写入峰值高1.5倍以上,避免高频轮转;不建议设过小(如100M),否则每分钟都切,postrotate频繁调用 kill -USR1 可能打满进程表
  • 去掉 daily 或 weekly ——它们与 size 共存时,size 优先,但冗余声明易引发误判
  • 加 maxsize 10G(可选):作为兜底,防止某次写入突发暴涨直接跳过 size 阈值

确保应用立即重定向写入新文件

轮转后若应用还在往旧文件句柄写,新日志就丢了。必须靠 postrotate 发送正确信号,且目标服务要支持该信号重开日志:

CMIC Skill Scanner (BCLinux 21 / 低版本 glibc Linux x64)
CMIC Skill Scanner (BCLinux 21 / 低版本 glibc Linux x64)

使用内置 Rust 引擎审计待安装的 skill 包或归档,可选桥接外部扫描器。

下载
  • Nginx / OpenResty:systemctl kill -s USR1 nginx 或 kill -USR1 $(cat /var/run/nginx.pid)
  • rsyslog:systemctl kill -s HUP rsyslog(新版支持 USR1,老版用 HUP)
  • 自研 Java/Python 服务:需在代码中监听 SIGHUP 或 USR1,主动 close+reopen 日志文件;不能依赖 copytruncate
  • 禁用 copytruncate:它看似“不移动文件”,实则是复制+清空原文件,对TB级文件复制耗时长、IO高、且清空瞬间可能丢失正在 flush 的缓冲日志

归档压缩与清理必须分层控制

TB级日志归档后仍占空间巨大,压缩和删除策略要错峰、限速、留余量:

  • compress 必开,但搭配 delaycompress:最新一轮不压,留出窗口做快速回溯;上一轮才 gzip,避免每次轮转都触发高压压缩
  • rotate 30 是底线,实际建议 rotate 90:TB级场景下,保留三个月原始日志(压缩后)更稳妥,便于审计与长周期问题定位
  • 加 olddir /archive/logs:把归档文件移到独立大容量磁盘(如 /archive),主盘只留最近7天活跃日志,隔离IO压力
  • 避免 sharedscripts 用于多日志路径:若一个配置块里匹配多个文件(如 /var/log/app/*.log),postrotate 只执行一次,但每个文件轮转是独立的——确保信号能覆盖全部实例

验证与应急操作不依赖 cron

磁盘已近 95% 时,等 cron.daily 执行就晚了。必须能秒级介入:

  • 调试配置:logrotate -d /etc/logrotate.d/app-heavy 看是否识别到目标文件、是否触发 size 条件、postrotate 命令是否拼写正确
  • 强制轮转:logrotate -f /etc/logrotate.d/app-heavy 立即切割,观察 ls -lh /var/log/app/ 是否生成带日期的新归档,原文件是否变为空(说明信号生效)
  • 监控配合:用 inotifywait -m /var/log/app/ -e moved_to 监听轮转事件,或定期检查 find /var/log/app/ -name "*.log*" -size +5G 报警

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

linux

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

2023.06.21

4610

4

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

2023.06.29

3853

10

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2023.06.30

3193

5

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

2023.07.05

7910

7

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

2023.07.06

7542

7

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.20

4273

8

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2023.07.20

3745

4

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

2023.07.25

3999

6

linux查找文件命令
linux查找文件命令

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.31

297

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习