Python多进程日志可靠方案有五种：一、Manager共享队列由专用进程消费；二、各进程写独立文件；三、QueueHandler+QueueListener原生支持；四、自定义FileHandler加进程锁；五、用concurrent-log-handler库自动处理。
当使用 Python 多进程（multiprocessing）运行任务时，多个子进程同时写入同一日志文件可能导致内容错乱、覆盖或丢失。以下是实现可靠多进程日志收集的几种技术路径：
一、使用 multiprocessing.Manager() 管理共享日志队列
通过 Manager 创建一个跨进程安全的 Queue，所有子进程将日志记录推送到该队列，由单独的日志消费进程统一写入文件，避免并发写冲突。
1、创建 multiprocessing.Manager 实例并调用 manager.Queue() 获取共享队列。
2、启动一个独立的日志写入进程，持续从该队列中获取日志条目，并调用 logging.getLogger().handle() 或直接写入文件。
3、在每个工作子进程中，不直接调用 logger.info()，而是构造包含时间、进程名、级别和消息的字典，put 到共享队列中。
4、主进程需确保日志消费进程在所有工作进程结束后仍持续运行，直至队列为空，再调用 queue.close() 和 join()。
二、为每个进程分配独立日志文件
规避共享资源竞争最直接的方式是让每个子进程写入专属日志文件，后续可通过外部工具合并分析，适用于调试与隔离性要求高的场景。
1、在子进程启动时，调用 multiprocessing.current_process().pid 获取唯一进程标识符。
2、基于 pid 或 process.name 构造日志文件路径，例如 f"worker_{pid}.log"。
3、为每个进程单独配置 logging.FileHandler，设置不同的 filename 参数，且禁用文件轮转共享逻辑（如不共用 RotatingFileHandler 的 baseFilename 锁）。
4、确保各进程的 logger 实例未被父进程的 handler 污染，推荐在子进程中调用 logging.basicConfig() 或显式 addHandler()。
三、利用 logging.handlers.QueueHandler 与 QueueListener
这是 logging 模块原生支持的多进程日志方案：子进程使用 QueueHandler 将 LogRecord 发往队列，主线程（或专用进程）用 QueueListener 绑定 FileHandler 进行集中落盘。
1、在主进程中创建 multiprocessing.Queue 实例，并初始化 QueueListener，传入该队列与一个 FileHandler 实例。
2、调用 listener.start() 启动监听线程（注意：此为线程，非进程；若需进程模型，须额外封装 listener 为 multiprocessing.Process）。
3、在每个子进程中，获取 root logger，移除默认 handler，添加 QueueHandler(queue) 实例。
4、子进程调用 logging.info() 时，LogRecord 自动序列化后进入队列，由 listener 所在线程反序列化并交由 FileHandler 输出。
四、采用文件锁机制控制写入互斥
在不改变原有日志调用方式的前提下，对 FileHandler 的 doWrite 操作加锁，确保同一时刻仅一个进程执行磁盘写入。
1、使用 multiprocessing.Lock 创建跨进程锁实例，并作为参数传递给各子进程。
2、自定义继承 logging.FileHandler 的类，在 emit() 方法开头调用 lock.acquire()，结尾调用 lock.release()。
3、在自定义 handler 的 doWrite() 中，先 write 再 flush，并确保异常时仍释放锁（使用 try/finally）。
4、为防止死锁，锁对象必须由主进程创建并共享，不可在子进程中重新实例化。
五、借助第三方库 concurrent-log-handler
该库专为解决多进程日志竞争设计，内部使用文件锁与原子重命名策略，在 Linux/macOS 下基于 flock，在 Windows 下基于 Win32 API 锁机制。
1、通过 pip install concurrent-log-handler 安装库。
2、替换原有 logging.FileHandler 为 cloghandler.ConcurrentRotatingFileHandler。
3、配置 maxBytes 和 backupCount 参数以启用自动轮转，其 write 操作天然支持多进程安全。
4、无需修改日志调用代码，也不需要手动管理队列或锁，但需确保所有进程使用完全相同的日志文件路径及轮转参数。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
