高可用jenkins集群核心是避免单点、实现自动切换与兜底：主节点通过共享存储+vip/负载均衡+状态协调实现运行时接管；从节点按标签弹性调度；任务通过恢复机制、制品外存和配置版本化保障不丢失；配合监控告警与故障演练确保秒级感知、分钟级恢复。
设计高可用 Jenkins 自动化构建集群，核心不是堆机器，而是让关键环节不单点、可切换、能兜底。主节点故障时构建不中断、任务不丢失、配置不丢失，这才是真正的高可用。
主节点冗余与自动故障转移
主节点是整个集群的调度中枢，必须避免单点失效。不能只靠备份还原，要实现运行时接管：
- 使用外部共享存储（如 NFS 或云存储）存放
/var/jenkins_home，所有候选主节点挂载同一目录，确保配置、插件、作业、凭证等数据实时一致 - 部署至少两个主节点实例（例如 master-a 和 master-b），但同一时间仅一个对外提供服务；通过 Keepalived + VIP 或云平台负载均衡器实现 IP/域名漂移
- 启用 Jenkins 内置的“High Availability”模式（需 Jenkins 2.361+ 及插件支持），配合 ZooKeeper 或 etcd 协调主从状态，自动选举新主并恢复未完成构建队列
- 禁用主节点执行构建任务（在系统配置中设为“Only run jobs on agents”），强制所有构建落在从节点，降低主节点负载和崩溃风险
从节点弹性与智能调度
从节点是实际干活的“工人”，既要扛住压力，也要容错灵活：
- 每个从节点独立安装 JDK、Maven、Git、Docker 等工具链，路径与主节点保持一致（如
/usr/local/maven），避免因路径差异导致构建失败 - 按用途打标签（如
java17、nodejs20、docker-build），项目构建时通过 “Restrict where this project can be run” 指定标签，实现环境隔离与精准调度 - 设置合理的执行器数量（通常 ≤ CPU 核数 × 1.5），避免资源争抢；启用“Idle timeout”自动下线空闲节点，节省资源
- 优先采用 SSH 启动方式（而非 JNLP），便于统一密钥管理；私钥由 Jenkins 凭据系统托管，不硬编码在配置中
构建任务与状态持久化保障
构建过程中最怕“正在打包，主挂了，任务没了”。高可用必须覆盖任务生命周期：
- 开启 Jenkins 全局配置中的 “Enable job recovery on restart”，使主节点重启后自动重试未完成的构建
- 对关键流水线（如生产发布），在 Jenkinsfile 中使用
retry、timeout和catchError显式处理临时失败（网络超时、镜像拉取失败等） - 将构建产物（如 jar、docker 镜像）统一推送到私有制品库（Nexus / Harbor），不依赖某台从节点本地磁盘；后续部署直接拉取制品，解耦构建与部署环境
- 定期导出 Job 配置（可通过 CLI 或插件如 “Configuration Slicing”），结合 Git 仓库做版本化备份，防止误操作或配置损坏
可观测性与快速恢复机制
高可用不是“不出问题”，而是“出了也能秒级感知、分钟级恢复”：
- 接入 Prometheus + Grafana，监控主节点 JVM 健康、队列积压数、从节点在线率、构建成功率等核心指标；当从节点连续离线 >2 分钟，自动触发告警
- 为每个从节点配置健康检查脚本（如检测 Java 进程、磁盘剩余空间），通过 Jenkins 的 “Node Monitoring” 插件定期执行，异常时自动标记为 offline 并暂停派发任务
- 准备一键切换脚本：当主节点确认宕机，手动运行脚本即可快速挂载共享存储、启动备用主节点、更新 DNS 或 LB 指向，全程控制在 3 分钟内
- 每月做一次模拟故障演练（如 kill 主进程、断网从节点），验证切换流程、数据一致性及回滚能力，持续优化方案
