Redis 7.0中如何处理主从同步中的大Key删除_利用内存分段释放技术

星瑶君_3073

星瑶君_3073

2026-07-06

421人浏览

原创

redis 7.0无“内存分段释放”机制,实际依赖unlink异步删除+渐进式拆分(如hscan/hdel分批处理)+配置调优(如增大repl-backlog-size、client-output-buffer-limit)三者协同,否则主从同步仍会阻塞或断连。

redis 7.0中如何处理主从同步中的大key删除_利用内存分段释放技术

Redis 7.0 并没有“内存分段释放”这个内置机制,所谓“分段释放”是误传;真正可用的是 UNLINK + 渐进式拆分 + 配置调优三者组合,否则主从同步仍会断连或延迟飙升。

UNLINK 不等于分段,它只是把删除扔给后台线程

很多人以为 UNLINK 能“分段释放内存”,其实不是:UNLINK 只是把 key 的元数据(如 dictEntry、robj 指针)从数据库中摘除,并把实际内存释放任务交给 lazyfree-thread 异步执行。但对大 Key 来说,后台线程仍要一次性遍历所有元素、归还内存页——这过程本身不拆分,只是不卡主线程。

  • String 类型大 value(如 50MB):UNLINK 立即返回,后台线程释放整块内存,无压力
  • Hash/List/Set/ZSet 类型(含数万 field 或 member):后台线程仍需逐个释放每个子项,若元素极多(比如 200 万),仍可能压垮 lazyfree 线程、堆积未释放内存
  • 主从同步不受影响?错。主节点执行 UNLINK 后,该操作仍以一条 DEL 命令形式写入 AOF 并同步到从节点——从节点收到后照样得执行一次同步删除,照样阻塞

主从同步中真正有效的拆分必须在主节点上渐进执行

要避免复制流被一个大 Key 卡死,唯一可靠方式是:在主节点上用游标命令分批读取 + 写入新结构 + 清理旧字段,让每一步都变成小命令进入复制流。

Redis Skill - 高性能缓存管理
Redis Skill - 高性能缓存管理

Redis 缓存和数据结构管理技能。通过自然语言操作 Redis,支持 String、Hash、List、Set、ZSet、Stream 等数据结构操作。当用户提到 Redis、缓存、消息队列、会话存储时使用此技能。

下载
  • 对大 Hash:HSCAN myhash 0 COUNT 50 拉出 50 个 field,HSET myhash:shard01 ... 写入新 key,再 HDEL myhash f1 f2 ... 删除这 50 个——每轮最多 50 个字段,不超网络包限制
  • 对大 ZSet:ZSCAN myzset 0 COUNT 100 + ZADD myzset:part1 + ZREM myzset,注意 ZREM 支持批量删,但别一次删超 500 个,否则从节点同步时仍可能超时
  • 必须在主节点执行:从节点只读,不能参与任何写逻辑;所有 HSET/HDEL 都走复制流,确保从节点状态最终一致
  • 加 SLEEP 0.005(如用 redis-cli --eval 调 Lua):防止连续高密度命令打满主节点 CPU 和复制缓冲区

关键配置必须提前调大,否则 UNLINK 也救不了

即使用了 UNLINK,如果主从复制缓冲区太小,一个大 Key 的同步仍会触发断连。这些配置必须在问题出现前就设好:

  • client-output-buffer-limit slave 512mb 128mb 60:把默认的 256MB/64MB 提高一倍,防止单次 bulk reply 打穿
  • repl-backlog-size 1024mb:增大复制积压缓冲区,避免从节点重连时因 offset 脱离而触发全量同步(全量=又来一遍大 Key)
  • lazyfree-lazy-server-del yes:开启 rename、flushdb 等隐式删除的异步化,但注意——它不影响主从同步中的 DEL 命令行为
  • 禁用 CONFIG SET 动态改 maxmemory-policy:该命令会阻塞主线程,且切换瞬间可能批量淘汰,引发二次带宽洪峰

删除后内存不降?不是没释放,是没还给 OS

执行完 UNLINK 或拆分清理后,INFO memory 中 used_memory_rss 可能长期不下降,这不是 bug:

  • jemalloc 默认不立即归还空闲内存页给操作系统,而是缓存起来供后续分配复用
  • 确认是否真释放:看 used_memory(Redis 逻辑内存)是否下降,而非 rss
  • 强制归还:仅限低峰期手动执行 MEMORY PURGE,但不要依赖它做日常治理
  • 真正要盯的是 mem_fragmentation_ratio:持续 > 1.5 说明碎片严重,大 Key 拆分后建议重启实例(滚动重启)来彻底整理内存

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

redis

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

4329

19

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.14

3835

11

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.02

6972

6

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

623

6

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

736

6

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

6642

6

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1160

6

redis的8种数据类型有哪些
redis的8种数据类型有哪些

redis 提供 8 种数据类型:字符串(文本、数字、二进制)、哈希(键值对)、列表(有序集合)、集合(无序唯一元素)、有序集合(按分数排序)、地理空间(地理位置)、hyperloglog(估计大数据基数)和位图(位序列存储)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1036

6

redis主要作用有哪些
redis主要作用有哪些

redis 的主要作用包括:1. 缓存数据,提高访问速度;2. 充当消息队列,实现消息传递;3. 存储各种数据类型,如字符串、散列和集合;4. 管理会话信息,确保可靠性和可用性;5. 限制请求速率,防止服务器超载等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

5898

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习