如何处理Redis高频写操作导致的AOF重写失败_增加重写缓冲区大小

大晨君_9195

大晨君_9195

2026-06-12

443人浏览

原创

aof_rewrite_buf_blocks不可配置,其大小由源码硬编码决定;重写失败主因是fork失败、oom或阈值误配,而非该缓冲区小。

如何处理redis高频写操作导致的aof重写失败_增加重写缓冲区大小

aof_rewrite_buf_blocks 不可配置,别白费劲去改它。

Redis 没有暴露任何运行时参数来增大 AOF 重写缓冲区(即 aof_rewrite_buf_blocks),这个缓冲区大小由源码硬编码决定,且随版本变化——你查不到文档、CONFIG GET 也列不出来、CONFIG SET 更会报错。所谓“增加重写缓冲区大小”是常见误解,真正卡住重写的从来不是它。

为什么重写总失败?先看这三个真实信号

别急着调参,先连上 Redis 执行 INFO persistence,盯住这三行:

  • aof_pending_rewrite:1 —— 表示重写已排队但没启动,大概率是 fork() 失败
  • aof_rewrite_in_progress:0 但日志里反复出现 Background append only file rewriting started by pid XXX 然后秒挂 —— 子进程被 kill,通常是 OOM
  • aof_current_size 和 aof_base_size 差值巨大(比如 20GB vs 200MB),但就是不触发自动重写 —— 阈值配错,根本没满足“与”条件

fork 失败的典型场景和硬解法

高频写本身不导致重写失败,但会让 fork 更容易崩。原因很实在:子进程需要拷贝父进程页表,而高写入常伴随大内存占用 + THP 启用 + 内核 overcommit 保守。

Redis Skill - 高性能缓存管理
Redis Skill - 高性能缓存管理

Redis 缓存和数据结构管理技能。通过自然语言操作 Redis,支持 String、Hash、List、Set、ZSet、Stream 等数据结构操作。当用户提到 Redis、缓存、消息队列、会话存储时使用此技能。

下载
  • 检查 dmesg | tail -20 是否有 Out of memory: Kill process XXX (redis-server) 或 Cannot allocate memory
  • 关透明大页:echo never > /sys/kernel/mm/transparent_hugepage/enabled(必须 root,重启失效)
  • 调内核参数:sysctl vm.overcommit_memory=1(允许乐观分配,避免 fork 被拒)
  • K8s 环境重点看 Cgroup 内存限制:如果 Redis 容器 limit 是 20Gi,但重写峰值内存达 22Gi,子进程必被 OOM killer 干掉

auto-aof-rewrite-* 阈值怎么配才不翻车

这两个参数是“与”关系,设错一个,重写就永不到来或天天重写。别抄默认值。

  • 先执行 INFO persistence,记下 aof_base_size(上次重写完的真实体积)
  • auto-aof-rewrite-min-size 必须 ≥ aof_base_size * 2,例如基线是 800MB,那就设成 1600mb;设成 64mb 就等于告诉 Redis:“只要 AOF 超过 64MB 就重写”,结果每小时生成一堆 temp-xxx.aof 占满磁盘
  • auto-aof-rewrite-percentage 要匹配业务写入节奏:写入突增型(如定时导入)设 200–300;平稳写入型保持 100 即可
  • 配完立刻执行 CONFIG REWRITE,否则重启后恢复默认

no-appendfsync-on-rewrite yes 真的能救急吗

能,但只对 appendfsync everysec 有效,且代价明确:重写期间最多丢失 1 秒新写入数据。

  • 它不增大任何缓冲区,只是让主线程在重写时跳过 fsync() 调用,避免磁盘 I/O 双重压力
  • 如果你用的是 always 策略,这个配置完全无效
  • 生产环境开启前,确认业务能接受秒级数据丢失 —— 支付类系统别碰

重写失败的根因永远在系统层(fork/OOM/磁盘/Cgroup)或配置逻辑(阈值误配),而不是某个“缓冲区太小”。盯着 INFO persistence 和 dmesg,比翻源码改 aof_rewrite_buf_blocks 实在得多。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

redis

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

4349

19

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.14

3855

11

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.02

7012

6

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

623

6

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

756

6

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

6702

6

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1160

6

redis的8种数据类型有哪些
redis的8种数据类型有哪些

redis 提供 8 种数据类型:字符串(文本、数字、二进制)、哈希(键值对)、列表(有序集合)、集合(无序唯一元素)、有序集合(按分数排序)、地理空间(地理位置)、hyperloglog(估计大数据基数)和位图(位序列存储)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1036

6

redis主要作用有哪些
redis主要作用有哪些

redis 的主要作用包括:1. 缓存数据,提高访问速度;2. 充当消息队列,实现消息传递;3. 存储各种数据类型,如字符串、散列和集合;4. 管理会话信息,确保可靠性和可用性;5. 限制请求速率,防止服务器超载等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

5938

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习