redis pipeline通过将多条命令打包一次性发送并批量接收结果，仅需1次rtt，避免逐条命令的网络往返开销；在跨地域高延迟场景下，100条命令可从3秒+降至50ms内，吞吐量提升5–10倍。
网络延迟高时，单条命令来回一次就要几十毫秒，批量操作不走 Pipeline 就是硬扛 RTT 浪费——直接用 pipeline() 批量发、一次收，吞吐量能翻 5–10 倍。
为什么普通 Redis 调用在高延迟下特别慢
每调用一次 r.set() 或 r.get()，Python 客户端都得：发包 → 等服务器响应 → 收包 → 解析。这个“等”的时间就是 RTT（Round-Trip Time），和物理距离强相关。跨机房常见 RTT 是 30–100ms；哪怕只执行 5 条命令，光网络等待就吃掉 150–500ms。
而 Redis 本身处理一条 SET 命令通常只要 0.1ms 左右——真正卡脖子的从来不是服务端，是来回握手。
- 本地回环（
127.0.0.1）RTT ≈ 0.1–0.3ms：用不用Pipeline差距小，但仍有 2–3 倍提升 - 同机房（
10.x.x.x）RTT ≈ 1–3ms：100 条命令省下 90+ms，效果明显 - 跨地域（如北京→广州）RTT ≈ 30–50ms：100 条命令从 3s+ 缩到 50ms 内，差异肉眼可见
redis-py 中 Pipeline 的正确打开方式
pipeline() 不是魔法，它只是把命令缓存在客户端内存里，等你调 execute() 才真正发出去。关键在于别漏掉 execute()，也别误以为它自动事务化。
- 必须显式调用
pipe.execute()，否则命令永远不发给 Redis - 默认不开启事务，中间某条命令报错（比如
INCR作用于字符串），后续命令照常执行 - 想加事务语义，得手动
pipe.multi()，且要配合pipe.watch()防并发覆盖 - 推荐用
with语句管理，避免异常时管道残留未执行：with r.pipeline() as pipe:
示例：
with r.pipeline() as pipe:
pipe.set("user:1001", "alice")
pipe.hset("profile:1001", mapping={"age": "28", "city": "sh"})
pipe.expire("user:1001", 3600)
results = pipe.execute() # 返回 [True, 2, True]
什么时候不该用 Pipeline
Pipeline 不是万能加速器，用错场景反而引入风险或开销。
- 命令之间有依赖：比如第二条命令要用第一条的返回值做键名，
Pipeline拿不到中间结果，得拆成两次调用 - 单条命令耗时很长（如
KEYS *、大HGETALL），批量塞进去会放大阻塞时间，还可能触发 Redis 的 client-output-buffer-limit 限制 - 需要强原子性且不能容忍部分失败：这时该用
MULTI/EXEC，而不是Pipeline（后者不回滚） - 数据量极大（如单次塞 10 万条
SET）：Redis 单次接收缓冲区有限（默认client-output-buffer-limit为 256MB soft limit），建议按 1000–5000 条一批分段execute()
容易被忽略的性能细节
很多人写了 Pipeline 还没快起来，问题往往出在连接层或序列化上。
- 没复用连接：每次新建
redis.Redis()实例都会建新连接，务必用ConnectionPool全局复用 - 启用了
decode_responses=True：对大批量字符串操作友好，但若混用二进制数据（如图片 base64），会多一层 decode 开销 - 管道内混用读写命令：Redis 仍顺序执行，但读操作结果无法被后续写操作利用，逻辑上无意义，纯属浪费带宽
- 没设超时：
socket_connect_timeout和socket_timeout必须显式配置，否则网络抖动时execute()可能卡死数秒
最隐蔽的一点：Pipeline 的缓冲区是客户端内存，如果批量塞入大量大 value（如 1MB 的 JSON 字符串 × 1000 条），Python 进程内存会瞬间飙升，GC 压力变大——这不是 Redis 的问题，是你的客户端在扛压。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
