Redis Pipeline 是批量命令执行机制,通过一次网络往返减少RTT开销,但无原子性保证;仅当命令可并行、批量≥10条且不依赖中间结果时才提效,需显式调用 Exec() 触发,否则命令静默丢失。

Pipeline 不是开箱即用的加速器,它只在命令可并行、批量 ≥10 条、且不依赖中间结果时才真正提效;用错反而拖慢 Redis 单线程,引发延迟毛刺。
go-redis/v9 中 Pipeline 的正确触发方式
Pipeline 对象本身只是命令缓冲区,不调 Exec() 就等于没发请求——代码链了一堆 Set()、ZAdd(),但没执行 Exec(),Redis 一个字节都收不到,也不会报错,数据静默丢失。
- 必须显式调用
pipe.Exec(ctx)才真正发送;返回的err仅代表网络或协议层失败(如连接断开),不代表某条命令执行成功 - 每条命令返回的是具体类型 Cmd 指针(如
*redis.StringCmd、*redis.IntCmd),结果要靠它自己的.Result()或.Val()取,不是从Exec()返回值里解包 - 别写成
_, err := pipe.Exec(ctx); if err != nil { ... }就结束——这只能捕获整批失败,漏掉前 9 条成功、第 10 条语法错误(如 key 含空格)这种典型 case
哪些命令适合塞进同一个 Pipeline
核心判断标准就一条:所有命令是否能乱序执行、彼此不读写同一 key、也不依赖上一条的返回值。满足才上 Pipeline;否则要么拆成多次调用,要么改用 Lua 脚本。
- 适合:
ZAdd()批量更新排行榜、Set()+Expire()预热缓存、HSet()写用户资料哈希、Del()清理一批 key - 不适合:
Get()后根据值决定是否Set()、Incr()后立刻用返回值做条件判断、涉及大 key(单 value > 10KB)——打包后请求体过大,易触发proto-max-bulk-len限制或客户端 buffer 溢出 - 更优替代:读多用
MGET()、写多用MSET(),它们是 Redis 原生命令,性能比手写 Pipeline 更稳,也天然支持集群 slot 分发
集群环境下 Pipeline 的坑与绕过方法
Redis Cluster 不允许跨 slot 打包命令。往 Pipeline 里混塞 {user:123}:profile 和 {order:456}:meta,哪怕只差一个字符,也可能落在不同节点,直接被拒绝。
- 不能直接对
*redis.ClusterClient调Pipeline();必须先算 slot:clusterClient.KeySlot(key),再查对应节点:node := clusterClient.NodeForKey(slot) - 然后在该
*redis.Client上调node.Pipeline()——此时退化为单机行为,不再自动路由 - 实际更推荐:优先用
MGET(keys...)、ZAdd(key, zs...)等原生命令,它们内部已做 slot 分片,省去手动路由逻辑,也避免手误塞错 key
为什么加了 Pipeline 反而卡住其他请求
根本原因是“大包压垮 Redis 单线程”:一次发 500 条命令,Redis 必须串行执行完才响应,期间所有其他客户端请求都在排队,监控会看到 latency 突增、get 请求 max_latency 超过 100ms。
- 解法不是禁用 Pipeline,而是分片+节流:每批控制在 50–100 条以内;写入密集时,
Exec()后加time.Sleep(1 * time.Millisecond)让出 CPU - 批次大小还要看数据体积:避免单次请求超 1MB(虽然 Redis 默认
proto-max-bulk-len是 512MB,但 client buffer 和网络栈容易溢出) - 上线前务必实测:用真实数据量 +
redis-cli --intrinsic-latency 10测本机延迟基线,再对比不同 batch size 对 P99 的影响——收益来自减少 RTT,代价是放大单次执行的延迟毛刺
真正难的从来不是怎么写 pipe.Set(),而是判断「这条命令该不该进这个 Pipeline」——它要求你同时理解业务语义、Redis 执行模型和网络链路特征。











