为什么MySQL在NUMA架构服务器上会出现严重的性能不均衡?

秋婷大大_4136

秋婷大大_4136

2026-06-13

331人浏览

原创

根本原因是numa默认localalloc策略导致buffer pool内存碎片化分布、线程跨节点调度及本地内存耗尽后触发隐性swap,三者形成负向闭环;需同步优化内存绑定、线程亲和性与回收策略。

为什么mysql在numa架构服务器上会出现严重的性能不均衡?

MySQL在NUMA架构服务器上出现严重性能不均衡,根本原因不是配置错误或SQL写法问题,而是默认内存分配策略与多线程调度行为在NUMA拓扑下产生了系统性错配——Buffer Pool被拆散、线程被乱派、本地内存被耗尽后被迫跨节点访问,延迟直接翻倍。

MySQL的Buffer Pool如何被NUMA“撕碎”

InnoDB Buffer Pool是连续大块内存,但Linux默认使用localalloc策略:每个线程申请内存时,优先从它当前运行的CPU所在NUMA节点分配。MySQL启动时主线程可能在Node 0,但后续连接线程可能被调度到Node 1、Node 0交替运行,导致Buffer Pool内存碎片化分布在多个节点。

  • numastat -p $(pgrep mysqld) 显示 other_node >25%,说明Buffer Pool至少1/4内存不在主线程所在节点
  • 一次SELECT扫描索引页,若页在Node 1而执行线程在Node 0,就要走QPI总线取数据,延迟从100ns涨到250ns+
  • InnoDB的LRU链表操作、脏页刷盘等内部动作也会因内存跨节点而频繁触发缓存同步开销

线程调度与CPU亲和性失控

MySQL默认不限制线程绑定,Linux CFS调度器会把连接线程动态迁移到空闲CPU,而这些CPU可能属于不同NUMA节点。结果就是:同一连接的多个语句在不同节点执行,反复触发远程内存访问。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • 用 pidstat -t -p $(pgrep mysqld) 1 5 观察 migrate 字段,若每秒迁移次数 >3,说明线程在节点间“漂移”
  • 即使启用了 innodb_numa_interleave=ON(MySQL 8.0.27+),也只是缓解Buffer Pool分配,不控制线程位置
  • taskset -c 0-11 mysqld 强制绑定后,numastat -p 的 numa_hit 通常能从70%升至92%以上

本地内存耗尽触发“隐性Swap”

当某个NUMA节点(如Node 0)内存被MySQL Buffer Pool占满,而其他节点(Node 1)仍有大量空闲时,Linux不会自动将部分内存迁移过去。反而可能触发kswapd在Node 0内回收内存,甚至将匿名页换出到磁盘——尽管整机内存充足。

  • 现象:free -h 显示总内存充足,但 cat /proc/meminfo | grep -i "swap\|reclaim" 中 SwapCached 或 PageOut 持续增长
  • 关键指标:numastat -c 中 Node 0 的 numa_free 接近0,而 Node 1 的 numa_free >30GB
  • 临时解法:echo 1 > /proc/sys/vm/zone_reclaim_mode 关闭单节点强制回收(需配合 --membind 使用)

为什么numactl --interleave=all有时更糟

对MySQL这类有强局部性的应用,--interleave=all看似公平,实则破坏了数据与计算的物理邻近性。Buffer Pool页被轮询分配到所有节点,每次访问都可能命中远端内存,且无法利用本地NUMA节点的内存带宽峰值。

  • 适用场景仅限于:工作集远超单节点内存 + 访问完全随机(如某些OLAP分析)
  • MySQL OLTP负载具有明显局部性:热点表、索引、undo log集中在少数内存页,应尽量让它们与活跃线程共处一节点
  • 正确做法是:先用 numactl --cpunodebind=0 --membind=0 锁定主节点,再通过 --preferred=0 允许必要时 fallback 到其他节点

真正卡住性能的,往往不是某一行配置写错,而是Buffer Pool分配、线程调度、内存回收这三件事在NUMA环境下形成了负向闭环——一个环节没对齐,其余两个就会放大问题。调试时必须同时看 numastat、pidstat -t 和 /proc/meminfo,缺一不可。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

mysql

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.15

437

5

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.08

900

5

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2023.09.19

2732

5

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.09

916

5

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.17

809

5

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

2023.10.17

414

3

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.18

2476

4

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

2023.10.20

4572

4

宽带如何接入服务器
宽带如何接入服务器

宽带接入服务器的方法有ADSL宽带接入服务器、光纤接入服务器、无线接入服务器和以太网接入服务器等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.20

747

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 181人学习

使用phpenv集成环境安装极致CMS
使用phpenv集成环境安装极致CMS

共2课时 | 287人学习