Hyperf大Key和热Key优化教程_Hyperf本地多级缓存(Memory)结合Redis实践

浅瑶君_8659

浅瑶君_8659

2026-05-19

926人浏览

原创

Hyperf中大Key和热Key需按协程模型与Redis单线程本质设计:用CoroutineMemoryDriver处理热Key,UNLINK+分片删除大Key,按访问模式而非字段拆分大Key。

hyperf大key和热key优化教程_hyperf本地多级缓存(memory)结合redis实践 - php中文网

Hyperf 里直接把大 Key 或热 Key 往 Redis 一塞,不出三天就会在监控里看到 CPU 98%、slowlog 暴增、DEL 命令耗时几百毫秒——这不是配置问题,是结构设计没对齐 Swoole 协程模型和 Redis 单线程本质。

怎么发现 Hyperf 里的大 Key?别只看 redis-cli --bigkeys

Hyperf 是常驻内存的协程服务,很多大 Key 其实藏在本地缓存或序列化环节,光扫 Redis 会漏掉关键路径:

  • Redis::get('user:1000:profile') 返回的是一个 2MB 的 JSON 字符串?那 json_decode() 就已在 worker 进程里吃掉几十 MB 内存,且每次反序列化都触发 GC 压力
  • 用 Hyperf\Cache\Annotation\Cacheable 注解缓存了整个订单列表(order:list:uid_123),但实际返回 5000+ 条记录 → 大 Key + 热 Key 双重打击
  • Hyperf 默认用 PhpSerializerPacker,但若业务层手动 json_encode() 再塞进 Redis,就等于多做一次序列化,体积翻倍、CPU 白烧

真正要查的不是 Redis 里“谁最大”,而是:Hyperf\HttpServer\Contract\ResponseInterface::json() 前的原始数据体积、Cacheable 注解标注的 value 类型是否为数组/对象、以及 Redis::pipeline() 批量读取时单次响应是否超 1MB。

热 Key 在 Hyperf 里必须走 CoroutineMemoryDriver,不是可选项

Hyperf 的 CoroutineMemoryDriver 是协程级内存缓存,同一请求生命周期内免 Redis 往返。对热 Key 来说,它比 Caffeine 更轻、更准:

  • 不跨请求共享,避免本地缓存污染;但同一请求中多次 cache()->get('config:site') 不会再查 Redis
  • 不依赖 TTL,靠协程生命周期自动释放,无过期不一致风险
  • 配合 @Cacheable(ttl=0) + cache()->driver('memory') 可实现「本次请求热 Key 全局命中」

示例场景:用户登录后频繁读取 user:info:{uid} 和 user:perms:{uid},两个 Key 都是热 Key。直接在 Controller 构造函数里注入 CacheManager 并切换 driver,比写个 LoadingCache 更快、更省内存。

Sentinal Redis
Sentinal Redis

监控Redis服务器健康状况、内存、性能及BullMQ队列。检查队列深度、失败任务,分析慢查询并诊断问题。

下载

DEL 大 Key 会卡住整个 Hyperf Worker,必须用 unlink + 分片删

Hyperf 的每个 Worker 是独立协程调度器,但 Redis 客户端(如 Hyperf\Redis\Redis)仍是同步阻塞调用。执行 DEL big:hash:key 时,整个协程会被挂起,直到 Redis 主线程返回 —— 这期间该 Worker 无法处理任何新请求。

  • 确保 Redis 版本 ≥ 4.0,且配置开启 lazyfree-lazy-user-del yes,这样 DEL 自动转为 UNLINK
  • 若无法改 Redis 配置,改代码:用 HSCAN 分批获取 key 成员,再用 HDEL 逐个删,每次 scan 控制在 100 条以内,加 co::sleep(0.001) 让出协程控制权
  • 禁止在 __destruct() 或 onWorkerExit 里删大 Key,容易导致进程退出卡死

特别注意:Hyperf 的 Redis::del() 方法默认不支持 UNLINK 别名,得手写 Redis::eval() 脚本或直连原生客户端调用 unlink 命令。

拆分大 Key 不能只按业务字段切,要按访问模式切

比如一个用户中心大 Key user:full:{uid}(含基本信息、地址、设备、权限),常见错误是拆成 user:base:{uid}、user:addr:{uid}……但实际请求中,90% 场景只要 base + perms,addr 几乎不读 —— 这种拆分只是把一个大 Key 变成多个小 Key,没解决热点和体积问题。

  • 高频读 + 低频写 → 拆成 user:hot:{uid}(base + perms)和 user:cold:{uid}(addr + device),前者 TTL 设短、加本地缓存,后者 TTL 设长、不缓存
  • 写多读少 → 改用 HMSET user:delta:{uid} last_login 1678901234 updated_at 1678901234,只存变更字段,读时合并
  • 集合类大 Key(如粉丝列表)必须加游标分页,禁止 SMEMBERS,改用 SSCAN fanlist:{uid} COUNT 100 + 后台异步聚合

Hyperf 的优势在于能用协程轻松实现「读时合并」和「写时分片」,但前提是拆分逻辑得贴着真实流量分布走,而不是图代码整洁。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

redis hyperf

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

5009

19

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.14

4595

11

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.02

8992

6

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

683

6

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

776

6

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

9422

6

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1200

6

redis的8种数据类型有哪些
redis的8种数据类型有哪些

redis 提供 8 种数据类型:字符串(文本、数字、二进制)、哈希(键值对)、列表(有序集合)、集合(无序唯一元素)、有序集合(按分数排序)、地理空间(地理位置)、hyperloglog(估计大数据基数)和位图(位序列存储)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1516

6

redis主要作用有哪些
redis主要作用有哪些

redis 的主要作用包括:1. 缓存数据,提高访问速度;2. 充当消息队列,实现消息传递;3. 存储各种数据类型,如字符串、散列和集合;4. 管理会话信息,确保可靠性和可用性;5. 限制请求速率,防止服务器超载等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

7998

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Go-Zero官方文档
Go-Zero官方文档

共0课时 | 0人学习