Hyperf如何防止Redis大Key导致的性能下降_利用Scan命令代替Keys

梦墨君_4869

梦墨君_4869

2026-05-22

236人浏览

原创

hyperf中keys比普通php更危险,因其协程redis客户端执行keys会同步阻塞当前协程数百毫秒至秒级,导致该协程无法处理请求,高并发下易引发协程池耗尽与超时雪崩;而普通php是多进程,仅影响单个请求。

hyperf如何防止redis大key导致的性能下降_利用scan命令代替keys

Hyperf 里不能直接用 KEYS 查大 Key,必须用 SCAN 分批处理,否则一执行就卡住整个协程调度器——这不是慢,是服务级中断。

为什么 Hyperf 中 KEYS 比普通 PHP 更危险

Hyperf 默认使用 Swoole 协程 Redis 客户端(如 co\Redis 或 hyperf/redis 封装),所有 Redis 调用默认在协程内同步阻塞。一旦执行 KEYS *,主线程不卡,但当前协程会挂起直到命令返回;而这个“等待”可能持续数百毫秒甚至秒级,期间该协程无法响应任何请求,且若并发调用多路 KEYS,极易引发协程池耗尽、超时雪崩。

更隐蔽的问题是:很多开发者在 Command 或定时任务里写 KEYS 脚本,误以为“只在后台跑”,却忘了这些命令仍走协程 Redis 客户端,照样拖垮线上服务。

  • KEYS 在 Redis 6.0+ 仍是同步全量扫描,Hyperf 无法绕过这一底层限制
  • Hyperf 的 redis-cli --bigkeys 也不行——它本质是启动新进程调用原生命令,但该命令本身就会在目标节点上触发 KEYS-like 全量遍历
  • 某些 SDK(如旧版 hyperf/redis)对游标类型校验松散,传字符串 "0" 可能被静默转成 0,但部分 Redis 服务端版本会报 ERR invalid cursor

Hyperf 中正确用 SCAN 检测大 Key 的三步写法

核心不是“替换命令”,而是重构逻辑:把一次性收集 → 改为流式采样 + 异步评估 + 内存可控聚合。

Hyperframes Creative
Hyperframes Creative

HyperFrames视频非动画创意指导,包括设计规范(frame.md/design.md)处理、配色、字体设计、旁白及节奏规划等。

下载
  • 用 SCAN 游标循环获取 key 列表,每次最多取 COUNT 500,避免单次网络包过大或协程挂起太久
  • 对每个 key,用 MEMORY USAGE(非 DEBUG OBJECT)查内存占用,MEMORY USAGE 是非阻塞命令,且结果更贴近真实分配
  • 每批最多处理 20–50 个 key 后主动 co::sleep(0.01) 让出协程,防止长时间独占调度器;结果存入 Swoole\Table 或临时文件,而非 PHP 数组累积

示例片段(基于 hyperf/redis):

$cursor = '0';
$bigKeys = [];
do {
    $result = $this->redis->scan($cursor, ['MATCH' => 'user:*', 'COUNT' => 500]);
    [$cursor, $keys] = $result;
    foreach ($keys as $key) {
        // 非阻塞查内存,失败跳过
        $mem = $this->redis->command('MEMORY', ['USAGE', $key]) ?: 0;
        if ($mem > 1024 * 1024) { // >1MB
            $bigKeys[] = [$key, $mem];
        }
    }
    // 主动让出,防协程饿死
    if (count($bigKeys) % 30 === 0) {
        co::sleep(0.01);
    }
} while ($cursor !== '0');

SCAN 在 Hyperf 里容易漏掉的三个细节

这些不是“语法错误”,而是上线后才暴露的隐性故障点:

  • 游标比较必须用字符串 === '0',不能用整数 == 0 —— Swoole Redis 返回的游标始终是字符串,PHP 自动转换会导致循环不退出
  • MATCH 模式不能以 * 开头(如 *:order),否则 Redis 无法利用内部哈希桶优化,实际扫描效率退化到接近 KEYS
  • 不要在 go() 协程里嵌套 SCAN 循环再 wait() —— 这等于把异步压回同步,失去协程优势;应改用 Channel 或 Parallel 分片并行扫不同前缀

真正要清理大 Key 时,别只删 key

检测出大 Key 只是第一步。Hyperf 应用中直接 DEL 一个 50MB 的 Hash,照样会让 Redis 主线程卡顿 200ms+,进而拖慢所有协程请求。必须降级操作:

  • 对 HASH:用 HSCAN 分批读 field,每次 HDEL 不超过 10 个字段,中间加 co::sleep(0.005)
  • 对 LIST:优先用 LRANGE + LTRIM 截断,而不是 LRANGE 全取再 DEL
  • 对 ZSET:用 ZREMRANGEBYRANK 0 99 循环删,比 ZREM 单个删更省 CPU

最关键的是:这类清理逻辑绝不能放在 HTTP 请求生命周期里执行,必须走异步任务(如 hyperf/task)或独立的 Command,并配速率限制(例如每秒最多处理 3 个大 Key)。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

redis hyperf

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
C语言变量命名
C语言变量命名

c语言变量名规则是:1、变量名以英文字母开头;2、变量名中的字母是区分大小写的;3、变量名不能是关键字;4、变量名中不能包含空格、标点符号和类型说明符。php中文网还提供c语言变量的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

2889

3

c语言入门自学零基础
c语言入门自学零基础

C语言是当代人学习及生活中的必备基础知识,应用十分广泛,本专题为大家c语言入门自学零基础的相关文章,以及相关课程,感兴趣的朋友千万不要错过了。

2023.07.25

2208

9

c语言运算符的优先级顺序
c语言运算符的优先级顺序

c语言运算符的优先级顺序是括号运算符 > 一元运算符 > 算术运算符 > 移位运算符 > 关系运算符 > 位运算符 > 逻辑运算符 > 赋值运算符 > 逗号运算符。本专题为大家提供c语言运算符相关的各种文章、以及下载和课程。

2023.08.02

1160

5

c语言数据结构
c语言数据结构

数据结构是指将数据按照一定的方式组织和存储的方法。它是计算机科学中的重要概念,用来描述和解决实际问题中的数据组织和处理问题。数据结构可以分为线性结构和非线性结构。线性结构包括数组、链表、堆栈和队列等,而非线性结构包括树和图等。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.09

1118

4

c语言random函数用法
c语言random函数用法

c语言random函数用法:1、random.random,随机生成(0,1)之间的浮点数;2、random.randint,随机生成在范围之内的整数,两个参数分别表示上限和下限;3、random.randrange,在指定范围内,按指定基数递增的集合中获得一个随机数;4、random.choice,从序列中随机抽选一个数;5、random.shuffle,随机排序。

2023.09.05

1316

5

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2023.09.20

2038

7

c语言get函数的用法
c语言get函数的用法

get函数是一个用于从输入流中获取字符的函数。可以从键盘、文件或其他输入设备中读取字符,并将其存储在指定的变量中。本文介绍了get函数的用法以及一些相关的注意事项。希望这篇文章能够帮助你更好地理解和使用get函数 。

2023.09.20

3200

8

c数组初始化的方法
c数组初始化的方法

c语言数组初始化的方法有直接赋值法、不完全初始化法、省略数组长度法和二维数组初始化法。详细介绍:1、直接赋值法,这种方法可以直接将数组的值进行初始化;2、不完全初始化法,。这种方法可以在一定程度上节省内存空间;3、省略数组长度法,这种方法可以让编译器自动计算数组的长度;4、二维数组初始化法等等。

2023.09.22

14175

6

c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

2023.09.22

529

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习