Wie implementiert man eine zuverlässige Protokollierung in Python Multiprocessing?

Protokollierung bei Verwendung des Multiprocessing-Moduls von Python

Bei der Verwendung des Multiprocessing-Moduls von Python 2.6 zum Spawnen von Prozessen wird normalerweise jedem Prozess ein Logger auf Modulebene zugewiesen, um Daten zu verhindern Beschädigung im freigegebenen Dateihandle sys.stderr. Allerdings kann es sowohl innerhalb als auch außerhalb des Frameworks umständlich sein, sicherzustellen, dass alle abhängigen Module auch diesen Multiprocessing-fähigen Protokollierungsansatz verwenden.

Eine alternative Lösung wurde vorgeschlagen, um dieses Problem zu beheben:

Einrichten einer benutzerdefinierten Protokollhandler für Mehrfachverarbeitung

Ein benutzerdefinierter Protokollhandler wurde erstellt, um alle Protokollierungsaufrufe mithilfe einer Pipe an den übergeordneten Prozess umzuleiten. Dieser speziell für RotatingFileHandler entwickelte Ansatz sammelt effektiv Protokolle von mehreren untergeordneten Prozessen und konsolidiert sie im übergeordneten Prozess.

Die Implementierung umfasst:

<code class="python">from logging.handlers import RotatingFileHandler
import multiprocessing, threading, logging, sys, traceback

class MultiProcessingLog(logging.Handler):
    # ... Implementation as per above ...</code>

Dieser benutzerdefinierte Protokollhandler nutzt eine Warteschlange für Parallelität und Fehlerbehebung, um eine zuverlässige Protokollierung über alle Prozesse hinweg sicherzustellen.

Das obige ist der detaillierte Inhalt vonWie implementiert man eine zuverlässige Protokollierung in Python Multiprocessing?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!