Linux怎么解决系统频繁触发OOM Killer杀死业务进程

冬晨酱_6158

冬晨酱_6158

2026-10-26

770人浏览

原创

OOM Killer 是内核保命机制,非 bug;无法“解决触发”,只能控制谁被杀、何时杀及提前预警,关键在于调低关键进程 oom_score_adj 值、配置 memory 限制并监控内存压力。

linux怎么解决系统频繁触发oom killer杀死业务进程

根本没法“解决触发”,只能控制谁被杀、什么时候杀、杀之前先预警。 OOM Killer 是内核保命机制,不是 bug;关掉它等于让系统在内存耗尽时直接卡死或 panic。真正要做的,是让关键业务进程不被选中,同时提前发现内存压力,而不是等 Killed process 出现在日志里才反应。

怎么查确认真是 OOM Killer 干的

别猜,先验证。很多“内存不足”其实是缓存占位高、swap 没开、或进程假死,不是真 OOM:

  • 运行 dmesg | grep -i "out of memory",出现 Killed process XXX (mysqld) 才是 OOM Killer 动手了
  • 检查 /var/log/messages 或 /var/log/syslog,搜 oom 或 Out of memory
  • 对比时间点:用 sar -r -f /var/log/sa/sa$(date -d yesterday +%d) 看当时 kbmemfree 是否真的逼近 0,且 kbmemused 持续高位
  • 注意陷阱:free -h 显示 available 很低但 buff/cache 很高,大概率是 Linux 在做合理缓存,不等于 OOM 条件成立

怎么让 mysqld / java / yasdb 这类进程免于被杀

核心是调低它的 oom_score_adj 值——这个值越负,内核越不愿意杀它。默认是 0,设成 -1000 就几乎免疫(-1000 是下限):

Obsidian (Linux)
Obsidian (Linux)

操作 Obsidian 库(纯 Markdown 笔记),并通过 notesmd-cli 实现自动化。

下载
  • 临时生效(重启后失效):echo -1000 > /proc/$(pgrep -f "mysqld")/oom_score_adj(需 root)
  • 永久生效(推荐):写进 systemd service 文件,在 [Service] 段加一行:OOMScoreAdjust=-1000,然后 systemctl daemon-reload && systemctl restart mysqld
  • 别用 echo -1000 > /proc/PID/oom_score_adj 对已启动的 Java 进程硬改——JVM 启动后子进程 PID 可能漂移,且没做 cgroup 隔离的话,子线程仍可能被单独评分
  • 注意权限:非 root 用户无法写 /proc/PID/oom_score_adj,必须用 sudo 或改 systemd 配置

为什么调了 oom_score_adj 还被杀了

常见原因不是配置无效,而是机制没对齐:

  • vm.overcommit_memory = 2 时,内核会严格按物理内存+swap×overcommit_ratio(默认 50%)限制总分配量。此时 OOM Killer 不会触发,而是 malloc 直接返回 NULL,应用自己 crash,日志里看不到 Killed process ——你看到的“被杀”其实是应用因分配失败退出,不是内核杀的
  • 进程在容器里(如 Docker/K8s),oom_score_adj 要在容器启动时通过 --oom-score-adj 传入,宿主机上改 /proc 无效
  • 用了 cgroup v2,oom_score_adj 会被 cgroup 的 memory.oom.group 和 memory.low 覆盖,优先级更高
  • 进程本身有内存泄漏,oom_score_adj 只让它“活得久一点”,但持续涨内存最终仍会拖垮整个 cgroup 或节点

怎么避免走到被杀那一步

靠“豁免”是兜底,靠监控和约束才是正解:

  • 给关键服务配 MemoryLimit(systemd)或 memory.limit_in_bytes(cgroup v1),硬隔离内存上限,防止一个进程吃光所有内存
  • 用 earlyoom 替代默认 OOM Killer:它更早介入(比如 available 时就预警并杀进程),留出缓冲窗口,且支持自定义 kill 逻辑
  • Java 应用务必设 -Xmx,且不超过容器或 cgroup 内存 limit 的 75%,避免 JVM 自身内存管理(metaspace、off-heap)突破边界
  • 定期检查 /proc/*/status 中的 MMUPageSize 和 MMUPageSize,大页(HugePages)未启用时,小页 TLB miss 高会加剧内存碎片,间接抬高 oom_score

最常被忽略的一点:OOM Killer 的评分依据是 anon-rss + file-rss + shmem-rss,但很多数据库(如 MySQL 的 buffer pool)用的是 mmap(MAP_ANONYMOUS),这部分算进 anon-rss;而某些语言 runtime(如 Go 的 heap)会主动 madvise(MADV_DONTNEED) 归还内存,导致 RSS 波动剧烈——这时看 oom_score 比看 top %MEM 更准,但比看 /sys/fs/cgroup/memory/memory.usage_in_bytes 更滞后。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

2023.06.21

4210

4

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

2023.06.29

3573

10

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2023.06.30

2793

5

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

2023.07.05

6870

7

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

2023.07.06

6502

7

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.20

3753

8

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2023.07.20

3245

4

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

2023.07.25

3479

6

linux查找文件命令
linux查找文件命令

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.31

297

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习