如何解决多进程并发写入同一个日志导致切割出错-LINUX-PHP中文网

timedrotatingfilehandler 多进程下必然出错，因其无跨进程同步能力；各进程独立执行 dorollover 导致 rename/remove 冲突，引发 oserror 或日志丢失；唯一健壮方案是 queuehandler + queuelistener 由主进程统一轮转。

如何解决多进程并发写入同一个日志导致切割出错

TimedRotatingFileHandler 在多进程下直接使用必然出错，不是配置问题，是设计机制冲突——它没有跨进程同步能力。

为什么 TimedRotatingFileHandler 多进程下会丢日志或报 OSError

每个进程独立调用 doRollover()，执行顺序不可控，典型错误链路如下：

进程 A 检查 app.log 存在 → 关闭流 → 重命名为 app.log.2026-09-08
进程 B 同时检查到 app.log 存在 → 关闭流（此时 A 已关）→ os.rename(app.log, ...) 失败，抛 OSError: [Errno 2] No such file or directory
或更糟：B 先删掉 app.log.2026-09-08（因认为该归档文件已存在），A 的归档被清除

根本原因：文件系统操作（os.rename、os.remove）不是原子的，且无跨进程协调。即使加 multiprocessing.Lock，也仅能串行化写入，无法保证 doRollover 整个流程的原子性（比如 rename 前另一进程已创建新文件）。

用 multiprocessing.Queue + QueueListener 是唯一健壮方案

它把“旋转”和“落盘”收归主进程单一线程，子进程只发消息，彻底规避文件竞争。

Zynq Linux Hardware Debug

Zynq‑7000 / Zynq UltraScale+ 硬件调试技能。适用于 Xilinx Zynq（Cortex‑A9/A53 + FPGA）Linux 环境，调试 I2C、I2S、UART、GPIO 等外设。包括设备树配置、内核驱动、用户空间调试工具、交叉编译和常见问题排查，支持 PetaLinux 开发。

下载

主进程中创建 multiprocessing.Queue()，再用它初始化 QueueListener，绑定一个 TimedRotatingFileHandler（注意：必须是主进程创建的 handler 实例）
调用 queue_listener.start() —— 这是后台线程，不是进程，别误用 Process
每个子进程里：logging.getLogger().handlers.clear()，然后添加 QueueHandler(queue)
子进程调用 logging.info() 时，LogRecord 自动序列化进队列；监听端反序列化后交由 TimedRotatingFileHandler.emit() 执行，此时所有旋转逻辑都在单一线程内完成
主进程退出前必须调用 queue_listener.stop()，否则子进程可能卡在 queue.put() 上

别碰 filelock / fcntl 加锁的 TimedRotatingFileHandler

网上很多自定义 emit() 加锁的方案看似简单，实际隐患极深：

fcntl.flock 在 Windows 下完全不可用；threading.Lock 在多进程下无效，必须用 multiprocessing.Lock
锁只能保护写入段，但 doRollover 中的 os.rename 和 os.remove 仍可能被其他进程干扰——锁的粒度不够
TimedRotatingFileHandler 的轮转逻辑依赖 self.stream 状态，多进程共享同一 handler 实例会导致状态混乱，哪怕加锁也无法修复
一旦某个子进程崩溃未释放锁，后续所有进程永久阻塞，运维上几乎无法定位

这类方案只适合临时调试、进程数 ≤ 2、日志量极低的场景，生产环境请直接放弃。

如果非得用按时间切割，又不想改架构，就分文件

最务实的降级方案：放弃“同一个文件”，改为每个进程写独立带 PID 的日志，再靠外部工具聚合。

子进程中配置 TimedRotatingFileHandler(filename=f"worker_{os.getpid()}.log", when="midnight")
必须在子进程内重新调用 logging.basicConfig() 或显式 addHandler()，不能复用父进程 logger
用 logrotate（Linux）或 newsyslog（macOS）统一管理这些文件：按时间切割、压缩、过期清理，完全绕过 Python 层并发问题
查日志时用 grep -h "ERROR" worker_*.log | sort -k1,2 补时间排序，或用 journalctl（若用 systemd）替代