如何在Python中使用logging模块实现多进程安全的日志轮转？-Python教程-PHP中文网

直接用RotatingFileHandler在多进程下会出问题，因其轮转依赖os.rename等非原子操作，多进程并发判断与重命名导致日志丢失、内容错乱或文件大小异常。

如何在python中使用logging模块实现多进程安全的日志轮转？

为什么直接用RotatingFileHandler在多进程下会出问题

因为 RotatingFileHandler 内部依赖文件系统原子操作（如 os.rename）做日志轮转，而多个进程同时检查文件大小、重命名、打开新文件时，会出现竞态：一个进程刚判断完文件没超限，另一个进程已完成轮转，前者接着写原文件就可能被覆盖或写入已 rename 的旧文件——典型现象是日志丢失、内容错乱、轮转后文件大小异常（比如 0 字节或远超 maxBytes）。

用QueueHandler + QueueListener 绕过文件竞争

核心思路是让所有子进程只往一个线程安全的 queue.Queue 发日志，由**单个监听线程**统一消费并写入磁盘。这样轮转逻辑只在单线程中执行，彻底规避多进程冲突。

实操要点：

每个进程初始化自己的 logging.getLogger()，但 handler 全部换成 QueueHandler，指向同一个 queue.Queue 实例（需通过 multiprocessing.Manager() 或父子进程共享方式传递）
主进程（或任一固定进程）启动 QueueListener，绑定 RotatingFileHandler 或 TimedRotatingFileHandler —— 轮转动作只在这里发生
务必调用 listener.start() 和 listener.stop()，否则日志会堆积在队列里不落地
子进程退出前建议调用 logging.shutdown()，确保队列中残留日志被清空

示例关键片段：

import logging
from logging.handlers import QueueHandler, QueueListener, RotatingFileHandler
import multiprocessing as mp
import queue
<p>log_queue = mp.Manager().Queue()  # 跨进程安全队列</p><div class="aritcle_card flexRow artxards">
											<div class="artcardd flexRow">
												<a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac"><img
														src="https://img.php.cn/upload/skill/001/246/273/6adaf20dbae7c507.jpg" alt="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
												<div class="aritcle_card_info flexColumn">
													<a rel="nofollow" href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac" class="overflowclass">macOS UI 自动化技能包 —— 用 Python 控制你的 Mac</a>
													<p class="overflowclass">让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript

系统要求
macOS 14+ (Sonoma)

Python 3.9+

需要开启：辅助功能 + 屏幕录制权限</p>
												</div>
												<a rel="nofollow" href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
												</a>
											</div>
										</div><h1>子进程内配置</h1><p>def worker():
logger = logging.getLogger("myapp")
logger.setLevel(logging.INFO)
logger.addHandler(QueueHandler(log_queue))  # 只发不写
logger.info("from worker")</p><h1>主进程启动监听器</h1><p>handler = RotatingFileHandler("app.log", maxBytes=10<em>1024</em>1024, backupCount=5)
listener = QueueListener(log_queue, handler)
listener.start()</p><h1>启动子进程...</h1><p>p = mp.Process(target=worker)
p.start()
p.join()</p><p>listener.stop()  # 必须显式停止</p>

注意 TimedRotatingFileHandler 的时间同步陷阱

如果用 TimedRotatingFileHandler 做按天/小时轮转，多个进程各自初始化 handler 会导致它们在不同时间点触发轮转（因进程启动时间差、时钟漂移），结果生成一堆命名混乱的备份文件（如 app.log.2024-05-20_01, app.log.2024-05-20_02）。必须只让 QueueListener 持有唯一 handler 实例。

另外：TimedRotatingFileHandler 默认使用本地时区，若部署在容器或跨时区环境，建议显式传入 utc=True 并统一用 UTC 时间轮转，避免夏令时导致的重复或跳过。