主从架构运维经验:如何处理大规模集群的常见故障

阿涛酱_4424

阿涛酱_4424

2026-06-15

404人浏览

原创

主从复制延迟的7个核心原因包括:从库硬件配置低于主库、慢查询或mdl锁等待、主库写入压力过大、大事务阻塞、ddl操作引发元数据锁、从库备份导致flush table阻塞、网络或磁盘io瓶颈;排查需结合show slave status、pt-heartbeat、系统资源监控及慢日志分析。

主从架构运维经验:如何处理大规模集群的常见故障

主从架构在大规模集群中支撑着高可用、读写分离和数据容灾,但节点多、链路长、依赖深,故障一旦发生,往往波及面广、定位难、恢复慢。关键不在于“会不会修”,而在于“能不能快速判断影响范围、精准锁定根因、稳住业务再修复”。下面结合实战场景,拆解几类最常遇到的问题及其应对逻辑。

主节点宕机或失联

这是最紧急的场景:主库不可用,写入中断,部分从库可能因心跳超时触发误判,甚至引发脑裂。

  • 先确认是否真宕机:用netstat -tuln | grep :3306或systemctl status mysql查服务状态;再用ps aux | grep mysqld看进程是否存在。
  • 检查网络连通性:从其他节点telnet 主IP 3306,排除防火墙拦截或端口被占;同时查主节点自身iptables -L -n是否有DROP规则。
  • 若主节点已不可恢复,需人工介入切换:确保至少一个从库Seconds_Behind_Master = 0且Slave_SQL_Running = Yes,然后执行STOP SLAVE; RESET SLAVE ALL;,将其提升为新主,并更新应用连接配置。

复制延迟飙升或中断

延迟不是问题,突然飙升或卡死才是信号。常见于大事务、DDL操作、从库资源瓶颈或主从配置不一致。

Cutout.Pro抠图
Cutout.Pro抠图

一款提供AI自动抠图和背景移除能力的图片处理工具,可快速提取人物、商品等主体并支持批量处理视觉素材。

下载
  • 用SHOW SLAVE STATUS\G重点看Seconds_Behind_Master、Slave_IO_Running和Slave_SQL_Running三项。若IO线程停在Connecting,大概率是网络或权限问题;若SQL线程停在Executing,可能是SQL执行卡住或死锁。
  • 查从库负载:top看CPU/内存是否打满,iostat -x 1看%util是否持续100%,df -h确认磁盘空间是否充足(尤其binlog和relay log目录)。
  • 临时跳过非关键错误(仅限明确可忽略的场景):SET GLOBAL sql_slave_skip_counter = 1;后START SLAVE;,但必须同步记录并事后人工核对数据一致性。

server_id冲突或版本混用

看似低级,却极易在扩容或灰度升级时被忽略,导致复制静默失败——状态显示正常,实则未同步。

  • 所有节点执行SELECT @@server_id;,确保全局唯一;检查my.cnf中server-id配置是否被覆盖或重复。
  • 确认MySQL版本统一:mysql --version和SELECT VERSION();双校验。不同小版本间可能存在复制协议兼容问题(如8.0.28+对GTID的处理变化)。
  • 升级前务必在测试环境模拟主从切换与全量同步,验证binlog格式(STATEMENT/ROW)、GTID开关状态是否一致。

从库只读异常或连接拒绝

应用连不上从库,或连上后报错“read-only”,常被误认为数据库问题,实际多为配置或权限层面疏漏。

  • 检查read_only=ON是否被意外关闭,或被启动参数/配置文件覆盖;确认super_read_only未启用(该参数会阻止SUPER用户写入)。
  • 验证用户权限:从库账号必须有REPLICATION SLAVE权限用于IO线程,同时需具备对应库表的SELECT权限供应用查询。
  • 排查连接池配置:某些Java应用连接池(如HikariCP)默认启用autoCommit=false,在只读从库上执行UPDATE会直接报错,需显式设为true或路由到主库。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.15

437

5

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.08

900

5

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2023.09.19

2772

5

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.09

936

5

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.17

829

5

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

2023.10.17

414

3

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.18

2516

4

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

2023.10.20

4652

4

宽带如何接入服务器
宽带如何接入服务器

宽带接入服务器的方法有ADSL宽带接入服务器、光纤接入服务器、无线接入服务器和以太网接入服务器等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.20

747

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.4万人学习