如何在Python中实现一个无锁的环形缓冲区？-Python教程-PHP中文网

无锁并非不用同步，而是避免阻塞锁、依赖原子操作；python 标准库缺原生原子整数，故纯 python 很难真正无锁；实用方案是 spsc 下用 deque(maxlen=n) 或跨进程用 multiprocessing.array + ctypes 原子操作。

如何在python中实现一个无锁的环形缓冲区？

为什么不能直接用 `threading.Lock` 实现“无锁”

“无锁”不是指完全不用同步机制，而是避免阻塞式互斥锁（如 threading.Lock），改用原子操作或内存序控制。Python 的 GIL 虽能保护部分字节码原子性，但无法保证多线程下对共享变量的读-改-写（如 buffer[index] = x; index += 1）是原子的。所以即使有 GIL，纯 Python 实现的环形缓冲区在多线程写入时仍可能丢数据或越界。

真正可行的无锁方案依赖两个前提：
一是底层支持原子整数（如 threading.atomic —— 但 Python 标准库没有）；二是退而求其次，用 queue.SimpleQueue 或 collections.deque + 单生产者单消费者（SPSC）约束来规避锁开销。实际中，queue.Queue 内部用了锁，不符合要求。

不要试图用 += 或 list.append() 模拟无锁写入：它们不是原子操作
CPython 中 list 的索引赋值（buf[i] = x）是原子的，但 i = (i + 1) % size 不是，两者组合就破坏了无锁性
若必须纯 Python、多线程、无锁，唯一较稳的路径是用 array.array + threading.Atomic —— 但标准库不提供后者，得靠 ctypes 或 _thread 的底层原子操作（极难正确）

用 `collections.deque` 模拟 SPSC 环形缓冲区（最实用）

当明确只有 1 个线程写、1 个线程读（如主线程收日志，后台线程刷盘），collections.deque 可以安全替代环形缓冲区，且不显式加锁。它的 append() 和 popleft() 在 C 层实现，对单生产者/单消费者场景是线程安全的（CPython 文档隐含保证）。

关键不是“环形”，而是行为等价：固定容量 + 自动丢弃旧数据。

Galileo python sdk

Galileo AI 平台 Python SDK 完整参考，用于评估、监控和保护 GenAI 应用，适用于构建 Python 应用。

下载

初始化：from collections import deque; buf = deque(maxlen=1024)
写入：buf.append(item) —— 超容时自动弹出最左元素
读取：item = buf.popleft()（需先检查 len(buf) > 0）
注意：不能用 buf[0] 或 buf[-1] 随机访问后直接 popleft()，因为中间可能被另一线程修改（仅 SPSC 下才安全）
性能比手写 list + 取模快得多，且 maxlen 机制天然防内存膨胀

用 `multiprocessing.Array` + `ctypes` 做真无锁（跨进程/重负载场景）

如果目标是跨进程共享、高吞吐、低延迟（比如音频流、传感器采样），且愿意接受 C 层复杂度，可以用 multiprocessing.Array 配合原子计数器。核心思路是：用两个 ctypes.c_uint32 变量分别存 read_index 和 write_index，所有读写都通过 ctypes 的原子加载/存储完成（Python 3.11+ 支持 ctypes.atomic，但多数环境仍需 _ctypes.PyDLL 或调用 libc 的 __atomic_fetch_add_4）。

更现实的做法是复用成熟轮子：

安装 ringbuffer 包：pip install ringbuffer，它内部用 C 扩展实现原子索引更新
或用 pylibring（基于 Linux eventfd + splice，仅限 Linux）
自己写 C 扩展成本极高：要处理内存序（memory_order_acquire/release）、ABA 问题、缓存行伪共享 —— 99% 的项目没必要

常见错误：误把 GIL 当成无锁保障

看到 “Python 有 GIL” 就以为多线程读写一个 list 是安全的，这是最大误区。GIL 只保证单个字节码指令的原子性，而 buf[(head + 1) % size] = x; head = (head + 1) % size 至少涉及 4 条字节码（取模、索引、赋值、再取模、再赋值），中间完全可能被切换。