Python shelve 并发读写与只读模式切换最佳实践-Python教程-PHP中文网

Python shelve 并发读写与只读模式切换最佳实践

本文详解如何在多进程环境下安全使用 Python shelve 缓存：通过动态控制 flag 参数（如 'r' 只读、'c' 读写可创建）配合显式关闭机制，避免文件锁冲突，同时支持首次初始化与后续并发读取。

本文详解如何在多进程环境下安全使用 python shelve 缓存：通过动态控制 `flag` 参数（如 `'r'` 只读、`'c'` 读写可创建）配合显式关闭机制，避免文件锁冲突，同时支持首次初始化与后续并发读取。

在使用 shelve 作为进程间共享缓存时，一个常见痛点是：若多个进程同时以写模式（如 flag='c' 或 'w'）打开同一 shelf 文件，将触发底层数据库（如 dbm）的文件锁机制，导致 OSError: [Errno 11] Resource temporarily unavailable 等错误。而纯读取场景下，应强制使用只读模式以规避锁定。

核心原则：读写分离 + 显式生命周期管理

✅ 首次构建/更新缓存：使用 flag='c'（默认）或 'n'（强制新建），完成写入后务必调用 .close()；
✅ 后续并发读取：统一使用 flag='r'，确保所有进程仅以只读方式打开，完全避免锁竞争；
❌ 避免在读取逻辑中混用 'c' 或 'w' —— 即使文件存在，这些标志仍可能尝试获取写锁。

以下是一个生产就绪的缓存管理示例：

Secure Python Code Sandbox

安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。

下载

import shelve
import os

CACHE_FILE = "cache.db"

def init_or_update_cache():
    """单次执行：生成或校验并重建缓存（非并发）"""
    with shelve.open(CACHE_FILE, flag='c') as db:
        # 模拟缓存填充逻辑
        db["config"] = {"version": "1.2.0", "ttl": 3600}
        db["data"] = list(range(1000))
        # 显式 close（with 语句已自动保证，此处强调语义）
    print("Cache initialized/updated.")

def load_cache_readonly():
    """安全并发读取：所有工作进程调用此函数"""
    try:
        with shelve.open(CACHE_FILE, flag='r') as db:
            config = db.get("config", {})
            data = db.get("data", [])
            return {"config": config, "data_len": len(data)}
    except PermissionError:
        raise RuntimeError(f"Cache file {CACHE_FILE} is not readable — check permissions or existence.")
    except KeyError as e:
        raise RuntimeError(f"Cache key missing: {e}")

# 使用示例
if __name__ == "__main__":
    # 步骤1：由主控脚本/部署流程调用一次（非并发）
    # init_or_update_cache()

    # 步骤2：工作进程（多实例）安全读取
    result = load_cache_readonly()
    print(result)

关键注意事项：

flag='r' 是唯一真正只读且无锁的模式；'c' 和 'w' 在任何情况下都可能触发写锁，即使你只做读操作；
不要依赖 shelve.open(...).close() 的隐式行为 —— 始终使用 with 语句或显式 close()，防止因异常导致 shelf 长时间未释放；
若需运行时“降级”为只读（例如写入后立即转为只读供其他进程读），必须先 close() 当前 shelf，再以 flag='r' 重新打开；shelf 对象本身不支持运行时 flag 切换；
底层存储引擎（如 dbm.gnu 或 dumbdbm）对只读支持略有差异，推荐在目标环境中验证 flag='r' 行为一致性。