Redis如何通过Lua脚本实现跨Key的聚合查询_减少业务层计算

雨墨同学_9660

雨墨同学_9660

2026-04-17

511人浏览

原创

redis不支持跨key join或聚合,lua脚本是唯一服务端原子聚合方案,但须严守keys声明、同槽限制、时间约束及避免高开销操作。

redis如何通过lua脚本实现跨key的聚合查询_减少业务层计算

Redis 本身不支持跨 key 的 JOIN 或聚合(如 SUM、AVG、GROUP BY),业务层拉取多个 key 再计算不仅慢,还容易因网络/并发导致数据不一致。Lua 脚本是唯一能在服务端原子执行、访问多个 key 并完成简单聚合的方案——但必须严格遵循其限制,否则反而引入 bug 或性能瓶颈。

为什么不能直接用 redis.call("GET", key1) + redis.call("GET", key2) 做任意聚合

Lua 脚本在 Redis 中运行时受沙箱约束:不能调用外部库、不能 sleep、不能做 IO,且所有 key 必须显式声明为 KEYS 参数(否则集群模式下会报错 CROSSSLOT Keys in request don't hash to the same slot)。更重要的是,Redis 对 Lua 执行时间有硬限制(默认 lua-time-limit 5000 毫秒),超时会强制中断并返回错误。

  • 脚本中未通过 KEYS[1], KEYS[2] 等方式访问 key,而是拼接字符串再调用 redis.call → 集群环境直接失败
  • 对大量 key 循环调用 redis.call("HGETALL", ...) → 数据量稍大(比如每个 hash 有 100+ 字段)就极易超时
  • 在脚本里做复杂浮点运算或字符串分割 → Lua 解释器性能差,且 Redis 的 Lua 不支持 math.fmod 等部分函数

聚合前必须确保所有 key 在同一 slot(尤其 Redis Cluster)

Redis Cluster 要求一个 Lua 脚本内所有操作的 key 必须落在同一个哈希槽,否则拒绝执行。最稳妥的方式是用 {} 包裹 key 名强制哈希对齐,例如:user:{1001}:profile 和 user:{1001}:stats 会被哈希到同一 slot;而 user:1001:profile 和 user:1001:stats 则大概率分散。

Redis Skill - 高性能缓存管理
Redis Skill - 高性能缓存管理

Redis 缓存和数据结构管理技能。通过自然语言操作 Redis,支持 String、Hash、List、Set、ZSet、Stream 等数据结构操作。当用户提到 Redis、缓存、消息队列、会话存储时使用此技能。

下载
  • 检查方式:用 redis-cli --cluster check <host>:<port></port></host> 确认目标 key 是否同 slot
  • 迁移存量 key:用 redis-cli --cluster reshard 或客户端重写 key 名(加 {...})
  • 如果业务无法统一 key 结构,只能改用客户端分片 + 多次请求,放弃原子性

典型场景:多 Hash key 的数值字段求和(如用户订单总金额 + 优惠券抵扣总和)

假设 order:{uid}:summary 存订单金额(field total),coupon:{uid}:used 存已用优惠券面额(field amount),需原子获取两者之和:

local order_key = KEYS[1]
local coupon_key = KEYS[2]
local order_total = tonumber(redis.call("HGET", order_key, "total")) or 0
local coupon_amount = tonumber(redis.call("HGET", coupon_key, "amount")) or 0
return order_total + coupon_amount

注意:tonumber() 不可省略,因为 HGET 返回的是字符串;若字段不存在,HGET 返回 nil,tonumber(nil) 是 nil,再参与加法会得 nil,所以必须用 or 0 容错。

  • 调用方式(redis-cli):eval "<script>" 2 user:{123}:order_summary user:{123}:coupon_used</script>
  • 如果字段是数组(如多个订单分别存为 order:{uid}:1, order:{uid}:2),应改用 SCAN + KEYS 模式预过滤,但需承担 scan 非原子、可能漏数据的风险
  • 不要在脚本里遍历整个 hash(HGETALL)再循环 sum —— 字段数 > 50 就可能超时

真正难的不是写 Lua,而是判断哪些聚合能放进脚本、哪些必须放回业务层。比如需要按时间范围筛选再分组统计,或者涉及外部数据源比对,这类逻辑强行塞进 Lua 只会让问题更隐蔽——超时、内存溢出、结果不可测,都比多一次网络往返代价高得多。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

redis

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

4549

19

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.14

4095

11

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.02

7612

6

redis怎么做缓存服务器
redis怎么做缓存服务器

redis 作为缓存服务器的答案:redis 是一款开源、高性能、分布式的键值存储,可作为缓存服务器使用。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

643

6

redis怎么解决数据一致性
redis怎么解决数据一致性

redis 提供了两种一致性模型,以维护副本数据一致性:强一致性 (sync) 确保写操作仅在复制到所有从节点后才完成;最终一致性 (async) 则在主节点上写操作后认为已完成,牺牲一致性换取性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

756

6

mysql和redis怎么保证双写一致性
mysql和redis怎么保证双写一致性

确保 mysql 和 redis 双写一致性的技术包括:1、事务性更新:同时更新 mysql 和 redis,保证一致性;2、主从复制:mysql 主服务器更改同步到 redis 从服务器;3、基于事件的更新:mysql 记录更改并发送到 redis等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

7542

6

redis缓存一般存些什么数据
redis缓存一般存些什么数据

redis缓存中存储的数据类型包括:字符串、哈希、列表、集合、有序集合、位图、地理空间数据和hyperloglog。这些数据类型适用于存储各种数据,从简单信息到复杂对象和地理位置。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1160

6

redis的8种数据类型有哪些
redis的8种数据类型有哪些

redis 提供 8 种数据类型:字符串(文本、数字、二进制)、哈希(键值对)、列表(有序集合)、集合(无序唯一元素)、有序集合(按分数排序)、地理空间(地理位置)、hyperloglog(估计大数据基数)和位图(位序列存储)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

1136

6

redis主要作用有哪些
redis主要作用有哪些

redis 的主要作用包括:1. 缓存数据,提高访问速度;2. 充当消息队列,实现消息传递;3. 存储各种数据类型,如字符串、散列和集合;4. 管理会话信息,确保可靠性和可用性;5. 限制请求速率,防止服务器超载等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.07

6578

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习