如何解决因 Jenkins 多项目并发构建导致 Master 节点本地文件描述符上限(Ulimit)爆满死锁

陌丽小哥_6198

陌丽小哥_6198

2026-05-22

277人浏览

原创

直接调高文件描述符限制(ulimit -n)并同步加固内核级资源配额,是解决jenkins master因多项目并发构建耗尽fd导致假死或卡顿的核心手段;需协同放开用户级、服务级、内核级三层限制,并通过ulimit -n、ls /proc/.../fd | wc -l和cat /proc/sys/fs/file-nr验证瓶颈。

如何解决因 jenkins 多项目并发构建导致 master 节点本地文件描述符上限(ulimit)爆满死锁

直接调高文件描述符限制(ulimit -n)并同步加固内核级资源配额,是解决 Jenkins Master 因多项目并发构建耗尽 fd 导致假死或卡顿的核心手段。关键不是单点调参,而是用户级、服务级、内核级三层限制必须协同放开。

确认当前瓶颈是否为文件描述符耗尽

运行以下命令快速验证:

  • ulimit -n —— 查看当前用户允许打开的最大文件数(默认常为 1024)
  • ls /proc/$(pgrep -f 'jenkins.*jar')/fd | wc -l —— 查看 Jenkins 主进程实际打开的 fd 数量
  • cat /proc/sys/fs/file-nr —— 查看系统已分配/已使用/总上限的文件句柄数(第三列即 file-max)
  • 若 Jenkins 日志中频繁出现 Too many open files、java.io.IOException: EMFILE 或构建任务卡在 Workspace 初始化阶段,基本可判定为 fd 耗尽

永久提升 Jenkins 用户级文件描述符上限

编辑 /etc/security/limits.conf,为 Jenkins 运行用户(如 jenkins)添加明确配置(不要用 *,避免被其他服务干扰):

jenkins soft nofile 65535<br>jenkins hard nofile 65535<br>jenkins soft nproc 65535<br>jenkins hard nproc 65535

确保 PAM 加载生效:检查 /etc/pam.d/common-session 是否含 session required pam_limits.so;若使用独立用户登录启动 Jenkins(如 via su - jenkins -c "java -jar..."),需重新登录或重启会话才生效。

Jenkins
Jenkins

通过 REST API 与 Jenkins CI/CD 服务器交互。适用于触发构建、查询状态、查看控制台输出、管理任务或监控 Jenkins...

下载

适配 systemd 服务托管场景(Debian/CentOS 常见)

系统包安装的 Jenkins(如 apt install jenkins)由 systemd 托管,limits.conf 对其无效。必须显式声明服务资源限制:

  • 编辑 /etc/systemd/system/jenkins.service.d/override.conf(如不存在则新建目录和文件)
  • 写入:
[Service]<br>LimitNOFILE=65535<br>LimitNPROC=65535

执行 sudo systemctl daemon-reload && sudo systemctl restart jenkins 生效。可通过 systemctl show jenkins | grep LimitNOFILE 验证。

兜底:调高内核全局文件句柄上限

即使用户级设为 65535,若 /proc/sys/fs/file-max 过低(如默认 74377),高并发构建仍可能触发内核级拒绝。建议按物理内存比例设置:

  • 临时生效:sudo sysctl -w fs.file-max=2097152
  • 永久生效:在 /etc/sysctl.conf 中追加 fs.file-max = 2097152,再执行 sudo sysctl -p
  • 该值应 ≥ 所有 Jenkins Agent + Master 的 LimitNOFILE × 并发任务数 总和,并预留 20% 余量

不复杂但容易忽略:Jenkins Master 上每个构建任务、每个 Pipeline Stage、每个 Shell 步骤 spawn 的子进程、每个 HTTP 连接(如 Artifactory 插件)、每个日志轮转句柄都在消耗 fd。只改 ulimit 不碰 systemd 和 file-max,等于只开了门却锁着楼道和大门。

相关专题

更多
Docker容器化部署与DevOps实践
Docker容器化部署与DevOps实践

本专题面向后端与运维开发者,系统讲解 Docker 容器化技术在实际项目中的应用。内容涵盖 Docker 镜像构建、容器运行机制、Docker Compose 多服务编排,以及在 DevOps 流程中的持续集成与持续部署实践。通过真实场景演示,帮助开发者实现应用的快速部署、环境一致性与运维自动化。

2026.02.11

259

16

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

2023.06.21

3990

4

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

2023.06.29

3413

10

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2023.06.30

2573

5

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

2023.07.05

6250

7

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

2023.07.06

5882

7

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.20

3433

8

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2023.07.20

2925

4

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

2023.07.25

3159

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.4万人学习