怎么在Linux利用Hugepages提升数据库内存访问效率

大磊酱_3306

大磊酱_3306

2026-04-12

217人浏览

原创

是,HugePages 能显著提升 MySQL 性能;它通过使用 2MB 大页减少 TLB Miss 和缺页中断,降低 CPU 负载,但需内核支持、合理计算页数(如 innodb_buffer_pool_size×1.1÷2MB)、配置 memlock 限额并显式启用,否则进程无法使用。

怎么在linux利用hugepages提升数据库内存访问效率

确认系统是否支持并启用 HugePages

不检查就配,大概率白忙活。先看内核是否编译了 CONFIG_HUGETLB_PAGE=y:运行 grep -i huge /boot/config-$(uname -r),没输出说明内核不支持,得换内核或重编译。

再查当前状态:cat /proc/meminfo | grep -i huge。如果 HugePages_Total 是 0,不代表不能用,只是还没分配;但如果 Hugepagesize 显示为空或报错,说明底层没启用。

常见错误现象:echo 128 > /proc/sys/vm/nr_hugepages 后 HugePages_Free 没变,大概率是物理内存不连续——尤其在系统已运行较久、有大量 malloc/free 的场景下。此时别硬凑,重启后立刻配更可靠。

计算并设置合理的 vm.nr_hugepages 值

不是“越多越好”。MySQL 或 PostgreSQL 进程只会在启动时一次性申请大页(通过 mmap(..., MAP_HUGETLB)),且申请量由其共享内存段(如 MySQL 的 innodb_buffer_pool_size)决定。配少了,进程 fallback 到普通页;配多了,浪费物理内存且可能挤占其他服务可用内存。

实操建议:

  • 对 MySQL:取 innodb_buffer_pool_size + key_buffer_size + other memory pools 总和,再上浮 10%,然后除以 Hugepagesize(通常是 2048 kB)。例如总内存需求 32GB → 32 × 1024 = 32768 MB → 32768 / 2 = 16384 页。
  • 对 PostgreSQL:用 pg_controldata 查 Shared Memory Size,或直接看 shared_buffers + work_mem × max_connections 估算上限。
  • 别信“全内存配满”这种说法——HugePages 锁定内存不交换,但数据库自己也有缓存淘汰逻辑,过度锁定反而降低系统弹性。

让数据库进程真正用上 HugePages

光配内核参数不够。MySQL 和 PostgreSQL 都需要显式开启支持,否则即使大页存在,进程仍走默认 4KB 路径。

Linux DO
Linux DO

Linux DO (linux.do)。任何 Linux DO 请求(搜索、读取数据)均使用此技能。若任务涉及 Linux DO,应使用本技能而非调用其他。

下载

MySQL:

  • 必须关闭 MEMORY_TARGET(AMM),否则会冲突;保留 innodb_use_sys_malloc=OFF(默认已关)。
  • 启动前确保运行 MySQL 的用户(如 mysql)在 /etc/security/limits.conf 中有足够 memlock 限额:mysql soft memlock unlimited,mysql hard memlock unlimited。
  • 验证方式:启动后执行 cat /proc/$(pidof mysqld)/status | grep -i hugetlb,若值 > 0 表示已使用。

PostgreSQL:

  • 在 postgresql.conf 中设 huge_pages = on(9.6+ 版本),旧版本需靠 OS 层强制(如 LD_PRELOAD 加载 libhugetlbfs,但兼容性差,不推荐)。
  • 同样要配 memlock 限制,且注意 PostgreSQL 启动用户(如 postgres)与实际 worker 进程 UID 一致。

memlock 限制和用户权限最容易被忽略

这是生产环境失败的头号原因。即使 vm.nr_hugepages 设了 20000,memlock 还卡在默认 64KB,MySQL 进程照样拿不到一页大页。

关键点:

  • memlock 单位是 KB,unlimited 才真正放开;设成数字容易误算(比如写成 32G 写成 32768000,漏掉一个 0)。
  • 改完 /etc/security/limits.conf 必须重新登录用户(或用 su - mysql 切换),否则 ulimit -l 看不到生效。
  • systemd 服务(如 mysqld.service)可能绕过 limits.conf,需额外在 service 文件里加 LimitMEMLOCK=infinity 并 systemctl daemon-reload。

复杂点在于:不同发行版对 PAM limits 的加载时机不一致,RHEL/CentOS 通常 ok,Ubuntu 22.04+ 默认用 systemd user session,limits.conf 可能不生效——这时候直接改 systemd unit 更稳。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

linux

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.15

457

5

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.08

1000

5

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2023.09.19

3712

5

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.09

1196

5

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.17

1069

5

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

2023.10.17

574

3

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.18

3436

4

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

2023.10.20

6532

4

宽带如何接入服务器
宽带如何接入服务器

宽带接入服务器的方法有ADSL宽带接入服务器、光纤接入服务器、无线接入服务器和以太网接入服务器等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.20

987

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习