Redis持久化时内存占用过高_排查Linux系统内存页分配策略-Redis-PHP中文网

redis持久化期间内存突增主因是linux内核cow机制下页表分裂与大页干扰，需禁用透明大页、调优伙伴系统及redis配置：关闭activerehashing、启用incremental-fsync、调整vfs_cache_pressure等。

redis持久化时内存占用过高_排查linux系统内存页分配策略

Redis持久化（尤其是 bgsave 或 bgrewriteaof）期间内存占用突增，往往不是 Redis 自身数据膨胀导致的，而是 Linux 内核在写时复制（Copy-on-Write, COW）机制下，对 fork 出的子进程页表进行大量页分裂和映射操作引发的——根源在内存页分配策略与大页（Huge Page）是否启用。

为什么 Redis fork 后内存翻倍甚至更高

Redis 主进程使用 mmap + 堆内存混合管理数据，fork 时内核采用 COW 策略：子进程共享父进程所有物理页的只读映射，但一旦任一进程写入某页，内核需为该页分配新物理页并复制内容。问题在于：

若父进程大量使用匿名内存（如 malloc 分配的堆），这些页默认是 4KB 小页，COW 触发时需逐页复制，但更关键的是：这些页的页表项（PTE）无法被 TLB 高效缓存
如果系统启用了透明大页（thp），且 Redis 进程内存分布不连续或存在频繁写入，khugepaged 可能持续尝试合并小页 → 引发额外内存扫描与临时映射开销
/proc/sys/vm/overcommit_memory 设为 2 时，内核按 overcommit_ratio 限制实际可分配内存，fork 前检查可能失败，但 fork 后子进程首次写入才真正分配，此时若物理内存紧张，会触发直接回收或 OOM killer

检查当前是否启用透明大页（THP）

透明大页对 Redis 是已知风险项，它会干扰 COW 行为并增加内存碎片压力。确认方式：

cat /sys/kernel/mm/transparent_hugepage/enabled

输出若为 [always] madvise never 或 always，说明已启用；应改为 never：

echo never > /sys/kernel/mm/transparent_hugepage/enabled

注意：该设置重启失效，需写入 /etc/rc.local 或 systemd drop-in；同时检查 /sys/kernel/mm/transparent_hugepage/defrag 是否也为 never，避免后台线程强行合并页。

验证伙伴系统是否因高阶分配阻塞

当 Redis 持久化子进程需要大量连续内存（例如加载 RDB 到内存做校验、AOF 重写缓冲区扩容），内核需从伙伴系统中分配高 order 内存块。若 free_area[order] 中空闲块不足，会触发内存规整（compaction）或直接回收，表现为 kswapd CPU 升高、延迟毛刺。

宝塔Linux面板11.8.1

宝塔Linux面板11.8.1为官网当前正式版，新增AI建站能力并经过宝塔网站工程师深度调教，开放自定义AI功能API，同时对WAF进行界面重构和深度优化，提升拦截能力与运维效率。

下载

查看各阶空闲页数量：

cat /proc/buddyinfo

重点关注 order-9（512 × 4KB = 2MB）及以上阶数是否长期为 0。若 order-10（4MB 块）持续为 0，说明物理内存碎片严重，无法满足大块连续分配需求 —— 此时即使总空闲内存充足，alloc_pages(GFP_KERNEL, 10) 仍可能失败或阻塞。

临时缓解方法（仅限调试）：

运行 echo 1 > /proc/sys/vm/compact_memory 手动触发内存规整
观察 /proc/sys/vm/swappiness 是否过高（>10），高值会倾向 swap 而非回收 page cache，加剧规整压力
避免在 Redis 服务器上运行其他内存密集型服务（如 Java 应用未设 -XX:+UseG1GC），减少伙伴系统干扰

Redis 配置层规避页分配压力

内核页策略无法绕过，但可通过 Redis 配置降低对高阶页的需求频率和规模：

禁用 activerehashing yes（默认开启），防止 BGREWRITEAOF 期间哈希表渐进式 rehash 导致额外内存申请
调小 client-output-buffer-limit，尤其 pub/sub 类客户端，避免输出缓冲区无节制增长
对 AOF 重写，显式设置 aof-rewrite-incremental-fsync yes，让 fsync 分批进行，减少单次 write 系统调用引发的页脏化与回写压力
如使用 Redis 7+，启用 lazyfree-lazy-eviction yes 和 lazyfree-lazy-expire yes，将 key 删除的内存释放异步化，避免主线程阻塞在 __pagevec_release 上

最关键的遗漏点：很多人只盯着 redis.conf，却忽略 /proc/sys/vm/vfs_cache_pressure。该值若远高于默认 100（比如设为 200），内核会激进回收 dentry/inode 缓存，间接导致更多文件页换入换出，加剧伙伴系统负载 —— 它和 Redis 持久化没有直接关系，但在高负载下会成为压垮内存分配的最后一根稻草。