如何解决Redis由于大Key导致的AOF持久化阻塞故障

阿晨姑娘_2437

阿晨姑娘_2437

2026-10-30

772人浏览

原创

AOF重写因大Key卡住是因遍历并完整序列化大Key(如2GB zset)导致内存暴涨、触发OOM Killer;需用MEMORY USAGE精准定位、禁用incremental-fsync与混合持久化、手动错峰重写,并通过SCAN+Lua分批迁移清理。

如何解决redis由于大key导致的aof持久化阻塞故障

为什么AOF重写会因大Key卡住

AOF重写不是简单复制日志,而是遍历所有Key、重新序列化后生成紧凑新文件。遇到一个2GB的zset,Redis必须把它完整读入内存再编码写入——这过程不光吃CPU,还会额外占用等量RSS内存。系统一旦触发OOM Killer,bgrewriteaof直接被杀,AOF文件损坏,重启失败。

典型信号包括:INFO persistence里aof_rewrite_in_progress长期为1、used_memory_rss在重写期间暴涨、mem_fragmentation_ratio > 1.5且持续上升。

用MEMORY USAGE精准定位真实大Key

DEBUG OBJECT返回的是估算值,不准;redis-cli --bigkeys只看元素数量或字符串长度,漏掉编码膨胀(比如hashtable比ziplist多占3–5倍内存)。唯一可靠方式是逐个测:

  • MEMORY USAGE huge_zset —— 返回真实字节数,含指针、哈希表冗余、编码开销
  • 对疑似Key批量检测:用SCAN游标配合EVAL脚本,避免全量阻塞
  • 重点关注encoding字段:若hash显示hashtable但元素仅几千,说明单field value过大或hash-max-ziplist-value配置过小,已提前退化

避免AOF重写期间内存雪崩的实操配置

默认aof-rewrite-incremental-fsync yes会在重写时每32MB做一次fdatasync,看似平滑,实则加剧I/O抖动+延长重写时间,给大Key留出更长的内存驻留窗口。改成no可让重写“一气呵成”,缩短高内存占用时段:

redis-tools
redis-tools

按类别查找Redis命令、检测服务器连接、监控键数量和内存占用,支持离线速查表。

下载
  • 执行CONFIG SET aof-rewrite-incremental-fsync no(需确认磁盘吞吐足够)
  • 关闭混合持久化:CONFIG SET aof-use-rdb-preamble no,避免RDB preamble阶段再fork一次+序列化同一份大Key
  • 收紧客户端缓冲区:CONFIG SET client-output-buffer-limit normal 0 0 0,防止重写期间订阅者积压响应拖垮内存
  • 禁用自动触发:CONFIG SET auto-aof-rewrite-percentage 0,改由运维在低峰期手动bgrewriteaof

无法删、不能拆的大Key怎么安全清理

有些大Key业务强依赖,不能直接UNLINK(异步删只解决DEL阻塞,不解决重写时的内存压力),也不能拆分(如全局计数器)。这时必须绕过“全量序列化”这个死结:

  • 用SCAN + HSCAN/ZSCAN分批读取,每次最多COUNT 100,写入新结构
  • 用Lua脚本原子性地迁移+清空,例如:EVAL "local v=redis.call('HGETALL',KEYS[1]); redis.call('HMSET',KEYS[2],unpack(v)); redis.call('DEL',KEYS[1])" 2 old_hash new_hash
  • 迁移完成后,用RENAME切换,全程无大Key参与AOF重写
  • 若连SCAN都慢,说明底层编码已严重退化,优先考虑CONFIG SET hash-max-ziplist-entries 1000等调参重建结构

真正棘手的从来不是“怎么删”,而是“删之前没监控到”。MEMORY USAGE必须纳入每日巡检,而不是等latest_fork_usec飙到5秒才翻日志。

相关专题

更多
常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

4729

19

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.14

4275

11

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.02

8112

6

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

663

6

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

776

6

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

8222

6

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1180

6

redis的8种数据类型有哪些
redis的8种数据类型有哪些

redis 提供 8 种数据类型:字符串(文本、数字、二进制)、哈希(键值对)、列表(有序集合)、集合(无序唯一元素)、有序集合(按分数排序)、地理空间(地理位置)、hyperloglog(估计大数据基数)和位图(位序列存储)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1256

6

redis主要作用有哪些
redis主要作用有哪些

redis 的主要作用包括:1. 缓存数据,提高访问速度;2. 充当消息队列,实现消息传递;3. 存储各种数据类型,如字符串、散列和集合;4. 管理会话信息,确保可靠性和可用性;5. 限制请求速率,防止服务器超载等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

7098

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习