Python shelve 并发读写与读写模式动态切换指南-Python教程-PHP中文网

Python shelve 并发读写与读写模式动态切换指南

本文详解如何通过合理设置 shelve 的 flag 参数（如 'r'、'c'、'w'、'n'）实现安全的多进程只读访问与单次写入更新，避免“locked file”错误，适用于缓存场景下的读写分离实践。

本文详解如何通过合理设置 shelve 的 `flag` 参数（如 `'r'`、`'c'`、`'w'`、`'n'`）实现安全的多进程只读访问与单次写入更新，避免“locked file”错误，适用于缓存场景下的读写分离实践。

在使用 Python shelve 模块构建进程间共享缓存时，一个常见痛点是：多个进程同时读取同一 shelf 文件时，若以可写模式（如 'c' 或 'w'）打开，极易触发底层数据库（如 dbm）的文件锁冲突，导致 OSError: "File is locked" 或类似异常。而 shelve 本身不支持运行时“降级”或“升级”打开模式——其 flag 是在初始化 shelve.open() 时一次性确定的，且 Shelf 对象不可中途切换读写权限。

✅ 正确解法不是尝试动态切换模式，而是根据运行时角色（读 or 写）严格选择对应 flag，并配合显式关闭：

并发只读场景（推荐默认策略）：所有只读进程统一使用 flag='r'
```
import shelve
# 安全：多个进程可同时以 'r' 模式打开同一 shelf（前提是底层 dbm 支持只读并发，如 dbm.gnu 或 dbm.ndbm）
with shelve.open('cache.db', flag='r') as db:
    value = db.get('key', None)
```
⚠️ 注意：flag='r' 要求文件必须已存在，否则抛 FileNotFoundError；它不创建、不修改、不加写锁，是真正无冲突的并发读方案。
首次生成或重建缓存（独占写入）：仅由单个进程执行，使用 flag='n'（清空重建）或 'c'（存在则覆盖/追加）

Secure Python Code Sandbox
安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。

下载
```
# 确保无其他进程正在访问时调用
with shelve.open('cache.db', flag='n') as db:  # 总是新建空库，安全覆盖
    db['key'] = 'value'
    db['data'] = [1, 2, 3]
# 自动 close()，释放锁
```

校验+按需重建逻辑示例（完整工作流）：

import shelve
import os

CACHE_FILE = 'cache.db'

def load_or_rebuild():
    # Step 1: 尝试只读打开并校验
    try:
        with shelve.open(CACHE_FILE, flag='r') as db:
            if is_cache_valid(db):  # 自定义校验函数（如检查关键键、时间戳、checksum）
                return dict(db)  # 返回副本，避免后续误操作
    except (FileNotFoundError, OSError):
        pass  # 缓存不存在或损坏，进入重建流程

    # Step 2: 独占重建（确保此时无其他写入者）
    print("Rebuilding cache...")
    with shelve.open(CACHE_FILE, flag='n') as db:  # 'n' 最安全：强制新建，避免残留脏数据
        populate_cache(db)  # 填充数据的自定义函数

    # Step 3: 重建后再次只读加载返回
    with shelve.open(CACHE_FILE, flag='r') as db:
        return dict(db)

def is_cache_valid(db):
    return 'version' in db and db['version'] == CURRENT_VERSION

def populate_cache(db):
    db['version'] = CURRENT_VERSION
    db['config'] = {'timeout': 30}
    # ... 其他初始化逻辑

? 关键注意事项：

shelve.open(...) 后必须显式调用 .close() 或使用 with 语句，否则文件锁可能持续持有，尤其在异常退出时；
不同 flag 行为对比： | Flag | 文件不存在时 | 文件存在时 | 是否加写锁 | 适用场景 | |------|----------------|----------------|----------------|----------------| | 'r' | 报错 | 只读打开 | ❌ | 多进程并发读 | | 'c' | 创建 | 打开（可读写） | ✅ | 首次写入或增量更新（需串行） | | 'w' | 报错 | 打开（可读写） | ✅ | 已知文件必存在，仅更新 | | 'n' | 创建（清空） | 创建（清空） | ✅ | 安全重建，彻底重置 |