Python shelve 并发读写与只读模式切换指南-Python教程-PHP中文网

Python shelve 并发读写与只读模式切换指南

本文详解如何在多进程场景下安全使用 Python shelve：通过合理设置 flag 参数（如 'r' 只读、'c' 读写可创建）配合显式关闭机制，避免文件锁冲突，实现缓存场景下的并发读取与单次写入。

本文详解如何在多进程场景下安全使用 python shelve：通过合理设置 `flag` 参数（如 `'r'` 只读、`'c'` 读写可创建）配合显式关闭机制，避免文件锁冲突，实现缓存场景下的并发读取与单次写入。

在使用 shelve 作为进程间共享缓存时，一个常见痛点是：若多个进程同时以默认 'c'（读写可创建）模式打开同一 shelf 文件，将触发底层数据库（如 dbm）的文件锁机制，导致 PermissionError 或阻塞——尤其在 Linux 下易报 DBLockDeadlockError 或 OSError: [Errno 11] Resource temporarily unavailable。

根本解法在于职责分离：

Secure Python Code Sandbox

安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。

下载

✅ 读操作：所有并发进程统一使用 flag='r'（只读模式），确保无写锁争用；
✅ 写操作：仅由初始化/重建缓存的单一进程使用 flag='c'（读写+自动创建）或 'n'（强制新建），且写完立即调用 .close() 释放句柄；
❌ 避免混用 'w'（仅写已有）或未关闭 shelf 的长期持有。

正确实践示例

import shelve
import os

CACHE_PATH = "my_cache.db"

def load_from_cache(key):
    """并发安全读取：始终以只读模式打开"""
    try:
        with shelve.open(CACHE_PATH, flag='r') as db:
            return db.get(key)
    except (FileNotFoundError, PermissionError):
        return None  # 缓存不存在或权限异常

def build_cache():
    """单次构建缓存：使用 'c' 模式，写完即关"""
    with shelve.open(CACHE_PATH, flag='c') as db:
        db['config'] = {'version': '1.2.0'}
        db['data'] = list(range(1000))
        # 显式 close 不是必须（with 语句已保证），但强调资源释放意识
    print("Cache built successfully.")

def ensure_cache_integrity():
    """校验并按需重建（仅在需要时执行一次）"""
    if not os.path.exists(CACHE_PATH + ".dat"):  # 典型 dbm 文件后缀
        build_cache()
    else:
        try:
            with shelve.open(CACHE_PATH, flag='r') as db:
                assert 'config' in db
        except Exception:
            print("Cache corrupted; rebuilding...")
            build_cache()

关键注意事项

? flag='r' 是并发读取的安全基石：它绕过写锁，允许多进程同时打开同一 shelf，但禁止任何修改操作（尝试赋值会抛 TypeError）；
? 不要在 with 块外保留 shelf 引用：shelve.open() 返回的对象持有底层文件句柄，长期不关闭可能引发锁残留或资源泄漏；
⚠️ 注意文件后缀兼容性：不同 dbm 后端（dbm.gnu, dbm.ndbm）生成的文件名不同（如 .dat/.dir 或 .db），校验存在时建议检查主文件（如 os.path.exists(CACHE_PATH) 通常不够，需查具体后缀）；
? 进阶替代方案：若需更高并发吞吐或跨平台一致性，可考虑 sqlite3（支持 WAL 模式并发读）或 diskcache 库（专为多进程缓存设计，内置序列化与锁管理）。