哨兵节点下线前必须确认quorum和多数派仍成立,否则故障转移能力将失效;需先检查状态、计算剩余节点数、避免配置漂移、优雅退出并清理残留。

哨兵节点下线前必须确认quorum和多数派是否仍成立
直接 kill -9 一个哨兵进程,可能让整个故障转移能力归零。哨兵集群依赖“多数派投票”机制判定客观下线(odown)和选举 Leader,如果下线后存活哨兵数 ≤ quorum 或不足多数(即 ≤ ⌊n/2⌋),就再也无法触发自动切换。
例如你配置了 sentinel monitor mymaster 10.0.1.10 6379 2,当前有 3 个哨兵:下线 1 个后只剩 2 个,刚好满足 quorum=2,但 Leader 选举需要多数派(3 个中需 ≥2 票,2 个存活时仍可选),看似安全——但一旦此时网络抖动导致其中一个短暂失联,就会瞬间跌破 quorum,故障转移冻结。
- 下线前先用
redis-cli -p 26379 sentinel masters查当前主节点状态,确认所有哨兵都处于ok状态 - 执行
redis-cli -p 26379 sentinel sentinels mymaster,检查返回的哨兵列表是否完整(应为全部存活节点) - 计算下线后剩余哨兵数:若原为 3 个,下线 1 个后剩 2 个 → 建议先扩容到 5 个再下线,或确保业务可接受短时无自动切换能力
替换哨兵节点不能只改IP,要重建连接与订阅关系
哨兵之间靠 Redis 的 __sentinel__:hello 频道自动发现,不是靠静态配置列表。新哨兵启动后,必须能连上当前主节点(哪怕它已是旧主),才能收到其他哨兵发来的 hello 消息,加入集群。如果旧主已彻底下线、且新哨兵配置里还指向它,新哨兵会卡在“无法建立初始连接”,永远进不了集群。
正确做法是让新哨兵先连一个**仍在运行的从节点**(或当前主节点),只要这个节点本身在线、且开启了 Pub/Sub 功能,就能完成自动发现。
- 新哨兵的
sentinel.conf中sentinel monitor行的 IP 必须指向当前实际存活的主节点地址(可用sentinel get-master-addr-by-name mymaster实时查) - 启动前确保新节点能 telnet 通该主节点的 Redis 端口(如 6379)和哨兵端口(如 26379)
- 启动后观察日志,关键成功标志是出现
+sentinel和+sdown(表示已发现其他哨兵并开始监控)
客户端连接不中断的关键:避免哨兵配置漂移
很多团队在替换哨兵时顺手改了哨兵服务的 DNS 或 VIP,结果客户端连接池里缓存的旧地址失效,报 Connection refused 或超时。哨兵本身不提供代理或负载均衡,客户端直连哨兵只是为了查询主节点地址——所以客户端连的是哪个哨兵,并不重要;重要的是所有哨兵对主节点的认知必须一致,且客户端能稳定访问其中任意一个。
- 不要用单点 DNS 指向某一个哨兵;推荐用客户端 SDK 自带的哨兵列表支持(如 Jedis 的
SentinelPool、StackExchange.Redis 的SentinelConfiguration),传入全部哨兵地址 - 若必须用 VIP/Service,确保其后端健康检查基于
redis-cli -p 26379 ping,而不是 TCP 连通性(哨兵进程活着但卡死时 TCP 可通,但无法响应 ping) - 替换期间不要修改
sentinel monitor的quorum值或主节点别名(如mymaster),否则客户端重连时可能因名称不匹配无法获取地址
旧哨兵进程退出前必须手动通知其他节点
直接 kill 哨兵进程,其他哨兵会在 down-after-milliseconds 超时后才把它标记为 sdown,这期间它仍被计入投票总数,但已无法参与决策,造成“幽灵节点”假象。更糟的是,如果旧哨兵残留的 PID 文件或 socket 文件未清理,新哨兵尝试复用同一端口时可能启动失败。
- 优雅退出:向旧哨兵进程发送
SIGTERM(kill -15),它会主动向其他哨兵广播-sentinel事件,通知自己即将离线 - 确认退出:用
ps aux | grep redis-sentinel查进程消失,再查日志末尾是否有Exiting on signal 15 - 清理残留:删除旧哨兵的
sentinel.conf自动生成的临时行(如sentinel known-sentinel)、PID 文件、以及/tmp/redis-sentinel.*socket(如有)
哨兵节点替换看着只是换台机器,真正难的是让整个分布式判定逻辑不感知变化。最容易被忽略的,是旧哨兵退出后其他节点的 known-sentinel 列表不会自动清理——它可能持续几小时还在向一个不存在的地址发心跳,徒增日志噪音和网络开销。上线新节点后,务必手动验证 sentinel sentinels mymaster 返回的列表干净、准确。











