怎么在Python中解决多进程写入同一日志文件时的冲突问题？-Python教程-PHP中文网

直接用 logging 模块多进程写文件会出错，因 FileHandler 的文件对象非进程安全，导致日志错乱、覆盖或 OSError；推荐 QueueHandler+单日志进程或 concurrent-log-handler。

怎么在python中解决多进程写入同一日志文件时的冲突问题？

为什么直接用 `logging` 模块多进程写文件会出错

因为 logging.FileHandler 内部使用普通文件对象，而 Python 的文件对象不是进程安全的。多个子进程同时调用 write()、flush() 或移动文件指针（比如 seek()），会导致日志内容错乱、覆盖、甚至写入失败——常见现象是日志行被截断、两行日志挤在同一行、或报 OSError: [Errno 9] Bad file descriptor。

用 `QueueHandler` + 单独日志进程是最稳方案

核心思路：所有子进程不直接操作文件，而是把日志记录发给一个共享 queue.Queue；由**唯一一个日志进程**从队列里取记录并写入文件。这样彻底规避了并发写冲突。

实操要点：

主进程创建 logging.handlers.QueueHandler，绑定到根 logger 或自定义 logger
启动一个守护进程（daemon=True），运行 logging.handlers.QueueListener，传入队列和实际的 FileHandler
子进程无需额外配置，只要确保它们的 logger 使用了该 QueueHandler（通常通过 logging.getLogger() 共享）
注意：子进程需调用 logging.setLoggerClass() 避免 QueueHandler 在 fork 后失效（见下一点）

示例关键片段：

import logging
import logging.handlers
from multiprocessing import Process, Queue
import time
<p>def worker(q):</p><h1>子进程必须重新设置 logger 类，否则 QueueHandler 可能失效</h1><pre class="brush:php;toolbar:false;">logging.setLoggerClass(logging.Logger)
logger = logging.getLogger('myapp')
logger.setLevel(logging.INFO)
logger.addHandler(logging.handlers.QueueHandler(q))
logger.info(f'Worker {id} started')

if name == 'main': q = Queue() listener = logging.handlers.QueueListener(q, logging.FileHandler('app.log')) listener.start()

logger = logging.getLogger('myapp')
logger.setLevel(logging.INFO)
logger.addHandler(logging.handlers.QueueHandler(q))

ps = [Process(target=worker, args=(q,)) for _ in range(3)]
for p in ps:
    p.start()
for p in ps:
    p.join()

listener.stop()  # 必须显式 stop，否则可能丢最后几条日志

别踩 `RotatingFileHandler` 在多进程下的坑

即使你用了 QueueListener，如果后端 handler 是 RotatingFileHandler，仍可能出问题：rotate 操作（重命名旧文件、新建文件）不是原子的，多个进程可能同时触发 rotate，导致文件被覆盖或报 PermissionError。

解决办法只有两个：

python学习

Python 编程学习助手 skill，面向零基础用户。当用户表达以下意图时触发： - 学习 Python 基础概念（变量、数据类型、循环、函数、类等） - 请求 Python 练习题或测验 - 请求审查或调试 Python 代码 - 请求 Python 项目实战指导（爬虫、数据分析、Web 开发等入门项目） - 泛化表述如"教我 Python""我想学编程""Python 怎么写""帮我学 Python" 此 skill

下载

禁用自动 rotate，改用外部工具（如 logrotate）按时间/大小切分日志
或者改用 TimedRotatingFileHandler 并设置 delay=True + utc=True，再配合单日志进程——但依然不推荐，因 rotate 逻辑本身未加锁

更务实的选择：用 FileHandler 写单个大文件，靠运维轮转；或改用支持多进程的日志库（如 concurrent-log-handler，它内部用文件锁）。

用 `concurrent-log-handler` 是最快捷的替代方案

如果你不想自己搭 QueueListener 架构，concurrent-log-handler 就是为这场景设计的：它在写入前对文件加锁（基于 flock 或 Windows 的 LockFileEx），保证同一时刻只有一个进程在写。

安装与使用极简：

pip install concurrent-log-handler

然后替换 handler：

from concurrent_log_handler import ConcurrentRotatingFileHandler
<p>handler = ConcurrentRotatingFileHandler(
'app.log',
maxBytes=10<em>1024</em>1024,
backupCount=5,
encoding='utf-8'
)
logger.addHandler(handler)
</p>

注意点：