如何实现Redis发布订阅的消息过滤功能_在客户端利用JsonPath筛选数据

胖萱小哥_7664

胖萱小哥_7664

2026-06-12

411人浏览

原创

redis不支持jsonpath订阅过滤,publish/subscribe仅广播原始消息,字段级过滤必须在客户端完成;需用jsonpath-plus(node.js)或jsonpath-ng(python)解析json并匹配,注意异常处理、表达式预编译及unicode清洗。

如何实现redis发布订阅的消息过滤功能_在客户端利用jsonpath筛选数据

Redis 本身不支持 JsonPath 订阅过滤

Redis 的 PUBLISH/SUBSCRIBE 是纯通道广播机制,服务端**完全不解析消息内容**,更不会按 JSON 字段或 JsonPath 做路由。所有匹配频道的客户端都会收到原始 payload,过滤必须在客户端做——这不是限制,而是设计使然:保持服务端轻量、低延迟。

常见误判是以为用 PSUBSCRIBE pattern* 就能实现字段级过滤,其实它只匹配频道名(如 user.*),和消息体里的 JSON 字段无关。

客户端用 JsonPath 解析并筛选 Redis 消息的典型流程

以 Node.js + redis@4.x + jsonpath-plus 为例,关键在于:订阅后对每条 message 字符串做 JSON 解析,再用 JsonPath 表达式提取/判断。

Redis Skill - 高性能缓存管理
Redis Skill - 高性能缓存管理

Redis 缓存和数据结构管理技能。通过自然语言操作 Redis,支持 String、Hash、List、Set、ZSet、Stream 等数据结构操作。当用户提到 Redis、缓存、消息队列、会话存储时使用此技能。

下载
  • 确保消息体是合法 JSON(非字符串拼接或二进制乱码),否则 JSON.parse() 会抛 SyntaxError
  • 使用 jsonpath-plus 而非老版 jsonpath,因前者支持更全语法(如过滤器 [?(@.status == "active")])且无全局变量污染
  • JsonPath 查询返回数组,空结果为 [],需用 length > 0 判断是否命中,而非直接布尔转换([] 是 true)
  • 避免在 message 回调里做重计算——例如高频消息+复杂 JsonPath,应提前编译表达式(jsonpath.compile('$.data.users[?(@.age > 18)]'))
const { createClient } = require('redis');
const { JSONPath } = require('jsonpath-plus');
<p>const client = createClient();
await client.connect();</p><p>const compiledPath = JSONPath.compile('$.event.type');
client.subscribe('notifications', (message) => {
try {
const data = JSON.parse(message);
const matches = compiledPath({ json: data });
if (matches.length > 0 && matches[0] === 'payment') {
console.log('处理支付事件:', data);
}
} catch (e) {
// 忽略非 JSON 消息或 JsonPath 错误,不要 throw 否则中断订阅流
console.warn('消息解析失败:', e.message, '原始消息:', message);
}
});</p>

Python 客户端中用 jsonpath-ng 做等效过滤

Python 生态推荐 jsonpath-ng(比 jsonpath-rw 更活跃),注意其语法差异:过滤器需写成 $.data.users[?(@.age > 18)],不能省略 @。

  • redis-py 的 subscribe() 返回 PubSub 对象,需手动调用 listen() 迭代消息流
  • 务必检查 message['type'] == 'message',跳过 subscribe/unsubscribe 等控制消息
  • JsonPath 查询返回 Match 对象列表,取值用 .value 属性,不是直接取数组元素
  • 对高吞吐场景,把 parse() 和 find() 提前绑定到闭包或类实例,避免每次重复解析表达式
import json
from redis import Redis
from jsonpath_ng import parse
from jsonpath_ng.ext import parse as ext_parse
<p>r = Redis()
pubsub = r.pubsub()
pubsub.subscribe('logs')</p><p>jsonpath_expr = ext_parse('$.level')
for msg in pubsub.listen():
if msg['type'] != 'message':
continue
try:
data = json.loads(msg['data'])
matches = [match.value for match in jsonpath_expr.find(data)]
if 'ERROR' in matches:
print('捕获错误日志:', data)
except (json.JSONDecodeError, TypeError):
continue  # 跳过非法消息</p>

性能与边界问题必须盯紧的三个点

实际压测中,以下问题最常导致线上异常:

  • 未设超时或重试,当 Redis 连接闪断时,pubsub.listen() 或 client.subscribe() 回调可能永久阻塞——务必用 retry_strategy(Node)或心跳检测(Python)保活
  • 消息体含 Unicode 控制字符(如 \u2028)导致 JSON.parse() 失败,建议先用正则清洗或用 try/catch 宽松解析
  • JsonPath 表达式写错但不报错(例如 $.user.name 写成 $.user.nam),返回空数组,逻辑静默失效——上线前用真实样本数据单元测试表达式

JsonPath 是客户端过滤的合理选择,但它不解决消息积压、顺序保证或 exactly-once 投递。如果业务需要字段路由、持久化或重放,该考虑 Kafka 或 Redis Streams + XREAD,而不是硬套 Pub/Sub。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

redis

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

2023.06.20

4196

8

js获取当前时间
js获取当前时间

JS全称JavaScript,是一种具有函数优先的轻量级,解释型或即时编译型的编程语言;它是一种属于网络的高级脚本语言,主要用于Web,常用来为网页添加各式各样的动态功能。js怎么获取当前时间呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.28

1315

5

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.03

1678

5

js是什么意思
js是什么意思

JS是JavaScript的缩写,它是一种广泛应用于网页开发的脚本语言。JavaScript是一种解释性的、基于对象和事件驱动的编程语言,通常用于为网页增加交互性和动态性。它可以在网页上实现复杂的功能和效果,如表单验证、页面元素操作、动画效果、数据交互等。

2023.08.17

9723

11

js删除节点的方法
js删除节点的方法

js删除节点的方法有:1、removeChild()方法,用于从父节点中移除指定的子节点,它需要两个参数,第一个参数是要删除的子节点,第二个参数是父节点;2、parentNode.removeChild()方法,可以直接通过父节点调用来删除子节点;3、remove()方法,可以直接删除节点,而无需指定父节点;4、innerHTML属性,用于删除节点的内容。

2023.09.01

940

4

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.04

2564

5

Js中concat和push的区别
Js中concat和push的区别

Js中concat和push的区别:1、concat用于将两个或多个数组合并成一个新数组,并返回这个新数组,而push用于向数组的末尾添加一个或多个元素,并返回修改后的数组的新长度;2、concat不会修改原始数组,是创建新的数组,而push会修改原数组,将新元素添加到原数组的末尾等等。本专题为大家提供concat和push相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.14

1509

5

js截取字符串的方法介绍
js截取字符串的方法介绍

JavaScript字符串截取方法,包括substring、slice、substr、charAt和split方法。这些方法可以根据具体需求,灵活地截取字符串的不同部分。在实际开发中,根据具体情况选择合适的方法进行字符串截取,能够提高代码的效率和可读性 。

2023.09.21

4389

3

js生成随机数方法
js生成随机数方法

JavaScript生成随机数的方法,包括使用Math.random()方法生成指定范围内的随机整数、生成随机字符串和生成随机颜色。根据具体需求,可以选择适合的方法来生成随机数,以实现各种功能 。

2023.09.25

2515

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习