如何在 Python 多进程环境中安全地并发写入同一文件-Python教程-PHP中文网

如何在 Python 多进程环境中安全地并发写入同一文件

本文介绍在多进程场景下避免文件竞态条件的核心方法：使用进程间同步机制（如 multiprocessing.Lock）或改用线程模型配合 threading.Lock，确保对共享 .pkl 文件的读写操作原子、有序、无冲突。

本文介绍在多进程场景下避免文件竞态条件的核心方法：使用进程间同步机制（如 `multiprocessing.lock`）或改用线程模型配合 `threading.lock`，确保对共享 `.pkl` 文件的读写操作原子、有序、无冲突。

在 Python 中使用 multiprocessing 并发处理多个任务时，若多个子进程需反复读写同一组 .pkl 文件（例如加载字典 → 计算更新 → 保存回原文件），极易引发竞态条件（race condition）：一个进程正在写入文件时，另一进程可能正在读取，导致反序列化失败、数据损坏或静默错误。根本原因在于：threading.Lock 无法跨进程生效，而默认的文件 I/O 操作不具备原子性。

✅ 正确解法不是“绕开同步”，而是显式引入进程级互斥锁。推荐使用 multiprocessing.Lock（而非 threading.Lock），因为它专为跨进程同步设计：

Li Python Sec Check

Python 安全规范检查工具：基于 CloudBase 规范、腾讯安全指南，LLM 智能分析（默认禁用，优先本地执行）

下载

import multiprocessing as mp
import pickle
import os

def process_task(task_id, pkl_path, lock):
    # 每次读写前必须获取锁
    with lock:
        # 安全读取
        if os.path.exists(pkl_path):
            with open(pkl_path, 'rb') as f:
                data = pickle.load(f)
        else:
            data = {}

        # 执行业务逻辑（示例：添加新键值）
        data[f'process_{task_id}'] = {'timestamp': task_id * 100}

        # 安全写入（覆盖原文件）
        with open(pkl_path, 'wb') as f:
            pickle.dump(data, f)

    print(f"Process {task_id}: updated {pkl_path}")

if __name__ == '__main__':
    pkl_file = 'shared_data.pkl'
    lock = mp.Lock()  # 进程安全锁

    processes = []
    for i in range(4):
        p = mp.Process(target=process_task, args=(i, pkl_file, lock))
        processes.append(p)
        p.start()

    for p in processes:
        p.join()

    # 验证结果
    with open(pkl_file, 'rb') as f:
        final_data = pickle.load(f)
    print("Final data:", final_data)

⚠️ 关键注意事项：

切勿混用 threading.Lock 和 multiprocessing.Process：threading.Lock 仅在线程间有效，对不同进程完全无效；
锁的粒度要合理：将整个读–改–写流程包裹在 with lock: 中，确保原子性；避免在锁内执行耗时操作（如网络请求），否则严重降低并发效率；
考虑替代方案：若 I/O 占比高、CPU 密集度低，改用 threading + threading.Lock 更轻量（因无需进程启动开销）；但若涉及大量 CPU 计算，仍应坚持 multiprocessing + multiprocessing.Lock；
进阶选择：对高吞吐场景，可采用 multiprocessing.Manager().dict() 或 Redis 等外部存储解耦状态，避免文件争抢；
文件系统级锁（如 fcntl）虽可行，但跨平台兼容性差（Windows 不支持），不推荐作为首选。

总结：多进程共享文件写入的本质是资源互斥问题，唯一可靠方案是显式加锁——且必须选用进程感知的同步原语。multiprocessing.Lock 是标准库中最简洁、最健壮的选择，配合 with 语句可确保异常安全释放，是构建稳定并发数据管道的基石。