Apache 高可用集群架构设计与生产环境部署实战教程-Apache-PHP中文网

apache高可用集群依赖角色分离、状态解耦、协调可靠、存储冗余四大原则，涵盖控制面高可用、数据面弹性扩展、元数据持久化分离、网络自治发现，并需严格遵循硬件配比与避坑配置，经杀leader、断网、查一致性三步验证。

apache 高可用集群不是简单堆机器，而是靠角色分离、状态解耦、协调可靠、存储冗余

所有主流 Apache 项目（Doris、DolphinScheduler、SkyWalking、Flink、Pulsar 等）的高可用实现都围绕四个刚性要求展开：

控制面高可用：如 Doris 的 FE、DolphinScheduler 的 Master、Mesos 的 Master、SkyWalking 的 OAP，必须 ≥3 节点，通过 ZooKeeper / Kubernetes / Raft 协议选举 Leader，避免单点失效
数据面/执行面弹性扩展：BE（Doris）、Worker（DolphinScheduler）、TaskManager（Flink）、Bookie（Pulsar）可按需增减，故障自动摘除，不依赖主节点重启
元数据与状态持久化分离：ZooKeeper 不存业务数据，只管协调；真实元数据（表结构、任务定义、追踪索引）统一落盘到高可用数据库（MySQL/PostgreSQL）或分布式存储（ES/BanyanDB/HBase）
网络与发现机制自治：节点启动后自动注册、心跳保活、故障感知（超时≤5s），不依赖 DNS 或静态 IP 列表；Omega（ServiceComb Pack）、Broker（Pulsar）等组件内置服务发现客户端

硬件资源不是越多越好，关键在角色匹配+IO隔离+副本对齐。以下是多个项目交叉验证后的最小可行配比：

Apache Superset 是一个广泛采用的开源 BI 平台，用于 SQL 探索、图表构建和仪表板交付。当代理需要查询仓库数据、组装仪表板或使用成熟的分析界面解释指标而不是临时笔记本代码时，此技能非常有用。

下载

ZooKeeper 集群：3 节点独立部署（禁用 swap，SSD 磁盘，IOPS ≥1000），仅承载协调职责，不混布其他服务
FE / Master / OAP 类控制节点：3 台，每台 8 核 / 16GB 内存 / 100GB SSD，JVM 堆设为 8GB，预留足够直接内存
BE / Worker / TaskManager 类计算节点：≥3 台，每台 16 核 / 64GB 内存 / 1TB SSD（数据盘）+ 200GB SSD（日志盘），磁盘严格分离
共享存储（如 ES、HBase、MySQL）：按写入吞吐预估，ES 推荐 3 数据节点 + 3 协调节点，副本数 ≥2；MySQL 主从 + MHA，延迟监控阈值 ≤1s

这些细节不写在官方 Quick Start 里，但线上一出问题就卡在这里：

所有节点关闭 swap：swapoff -a && sed -i '/swap/s/^/#/' /etc/fstab，否则 GC 会抖动甚至 OOM
内核参数调优：至少设置 vm.swappiness=0、net.core.somaxconn=65535、fs.file-max=2097152
文件句柄限制：在 /etc/security/limits.conf 中为运行用户追加 * soft nofile 65536 和 * hard nofile 65536
JDK 版本锁定：Doris/Flink/Kylin 明确要求 Oracle JDK 1.8u192+，OpenJDK 在 GC 行为上存在不可控偏差
防火墙与 SELinux：生产环境建议关闭 firewalld，SELinux 设为 permissive 模式，避免策略拦截 ZooKeeper 通信或端口绑定

部署完不能只看进程在不在，要模拟真实故障：

杀 Leader：手动 kill -9 当前 FE Leader 或 Master 进程，观察 10 秒内是否自动选出新 Leader（ZK 日志出现 “New leader is”）
断网测试：在某 Worker/BE 节点上执行 iptables -A OUTPUT -d [zk-ip] -j DROP，等待 30 秒，确认该节点被自动下线，任务调度自动迁移
查一致性：向集群提交一个带状态的任务（如 Flink 流作业、DolphinScheduler 定时工作流），强制 Kill 后再恢复，验证 checkpoint/任务状态是否完整回滚