为什么Redis RDB快照会导致主进程阻塞_分析Fork系统调用与COW

小宇姑娘_4107

小宇姑娘_4107

2026-06-07

633人浏览

原创

fork()本身会阻塞主线程,耗时与内存页数量正相关,每gb约20ms;32gb实例可能阻塞600ms+,监控latest_fork_usec是判断瓶颈的唯一直观指标。

为什么redis rdb快照会导致主进程阻塞_分析fork系统调用与cow

fork() 本身就会阻塞主线程,不是“之后才阻塞”

很多人看到 BGSAVE 日志里写着 “Background saving started”,就以为主线程彻底脱身了。其实不然——fork() 是一个同步系统调用,主进程必须等它返回子进程 PID 才能继续执行。这个过程会短暂锁住主线程,耗时与 Redis 当前内存页数量正相关。实测中,每 GB 内存平均增加约 20ms fork 开销;若实例用了 32GB 内存,fork() 就可能卡住主线程 600ms+。

常见错误现象:INFO stats 中 latest_fork_usec 值飙升(比如 >1000000),同时客户端延迟毛刺明显;redis-cli --latency 观测到周期性毫秒级尖峰。

  • 必须监控 latest_fork_usec,它是判断 fork 阻塞是否已成瓶颈的唯一直观指标
  • fork() 阻塞发生在子进程创建前,和后续 COW 无关,但它是整个 RDB 阻塞链的起点
  • 日志里 “started by pid XXX” 出现那一刻,阻塞已经发生完毕,别被“background”字眼误导

COW 不是“静默后台行为”,而是主线程写入的放大器

子进程 fork 完成后,主线程看似恢复服务,但真正危险的是写时复制(COW)阶段:只要主线程修改了 fork 时刻已被分配的内存页,内核就必须为子进程单独拷贝一份物理页。这个拷贝动作不发生在子进程里,而是在主线程每次写操作触发 page fault 时同步进行。

影响最剧烈的场景包括:

  • 修改大 hash / list(如单个 hash 占 500MB),哪怕只改一个字段,也会导致对应全部内存页被 COW
  • 启用透明大页(THP):THP 的页分裂逻辑与 COW 冲突,会使 fork 耗时翻倍、COW 分配更频繁
  • 内存碎片率高(mem_fragmentation_ratio > 1.5):碎片多 → 物理页不连续 → COW 时更容易触发新页分配

此时你看到的不是子进程慢,而是主线程响应变慢——因为 CPU 和内存带宽被内核页分配抢占。

Redis Skill - 高性能缓存管理
Redis Skill - 高性能缓存管理

Redis 缓存和数据结构管理技能。通过自然语言操作 Redis,支持 String、Hash、List、Set、ZSet、Stream 等数据结构操作。当用户提到 Redis、缓存、消息队列、会话存储时使用此技能。

下载

vm.overcommit_memory=0 是隐性炸弹,不是安全默认

Linux 默认 vm.overcommit_memory = 0,表示内核按保守策略预估 fork 后内存是否够用。一旦预估失败,fork() 直接返回失败,Redis 退化为同步 SAVE,彻底阻塞主线程直到快照完成。

更隐蔽的问题是:即使 fork() 成功,在 COW 阶段因实际内存不足,子进程仍可能被 OOM killer 杀死,日志里只显示 rdb_last_bgsave_status:err,找不到直接原因。

  • 生产环境务必设 vm.overcommit_memory = 1(允许乐观分配)
  • 容器部署时,不能看宿主机 /proc/meminfo,得用 cgroup memory.limit_in_bytes 值来算预留空间
  • 在 K8s 环境下,COW 可能吃光 cgroup limit,建议为 Redis 容器预留至少 30% buffer

真正免阻塞的路径是绕开 fork,不是优化 fork

所有调参(比如加大 save 间隔、调 activedefrag)都只是缓解,无法根除 fork + COW 的本质限制。生产中最可控的做法是把 RDB 生成任务移出主节点:

  • 主节点关闭自动 save,仅开启 appendonly yes + aof-use-rdb-preamble yes
  • 选一个从节点,配置 save 60 1000 并设 slave-read-only yes,让它专职生成 RDB
  • 运维脚本用 redis-cli -h slave-host --rdb /path/to/dump.rdb 在从节点上手动拉取快照,再 rsync 到备份中心

这个方案下,主节点永远不 fork,latest_fork_usec 恒为 0。最容易被忽略的一点是:哪怕从节点不承担读流量,也要确认它没被误配为 slave-serve-stale-data yes 且正在处理大量 CLIENT LIST 或 MEMORY PURGE 请求——这些内部操作同样会触发内存页修改,间接加剧 COW 压力。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

redis redis性能优化

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

4349

19

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.14

3855

11

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.02

7012

6

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

623

6

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

756

6

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

6702

6

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1160

6

redis的8种数据类型有哪些
redis的8种数据类型有哪些

redis 提供 8 种数据类型:字符串(文本、数字、二进制)、哈希(键值对)、列表(有序集合)、集合(无序唯一元素)、有序集合(按分数排序)、地理空间(地理位置)、hyperloglog(估计大数据基数)和位图(位序列存储)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1036

6

redis主要作用有哪些
redis主要作用有哪些

redis 的主要作用包括:1. 缓存数据,提高访问速度;2. 充当消息队列,实现消息传递;3. 存储各种数据类型,如字符串、散列和集合;4. 管理会话信息,确保可靠性和可用性;5. 限制请求速率,防止服务器超载等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

5938

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习