在Python 中使用多重處理進行日誌記錄:一個強大的解決方案
當使用Python 的多處理模組時,由於缺乏進程,日誌記錄變得更加複雜-多處理感知記錄器的共享鎖,可能會導致sys.stderr 輸出混亂。
為了解決這個挑戰,另一種方法是建立一個自訂日誌處理程序,透過管道將輸出定向到父進程。此方法依賴佇列來處理並發並從錯誤中復原。提供的實作可確保生產環境中的穩定日誌記錄。
自訂處理程序 MultiProcessingLog 擴展了logging.Handler 類別並利用 RotatingFileHandler 來處理基於檔案的日誌記錄。它在父進程和子進程之間建立管道,允許集中儲存日誌。
實作細節:
MultiProcessingLog 處理程序使用單獨的執行緒來接收日誌記錄來自子程序並將它們轉發到父進程中的 RotatingFileHandler。這可確保日誌訊息的格式正確並寫入預期目的地。
要傳送日誌記錄,請使用 send 方法,而接收執行緒會持續監視管道中的新記錄並將其轉發到 _handler。
為了最大限度地降低不可拾取的物件導致問題的風險,處理程序在透過管道發送日誌記錄之前將 exc_info 和 args 值字串化。
emit 方法被重寫以包裝_format_record 呼叫
這個自訂日誌處理程序為管理多處理應用程式中的日誌提供了可靠的解決方案,提供集中式日誌儲存和錯誤恢復功能。
以上是如何在 Python 多處理應用程式中實現穩健的日誌記錄?的詳細內容。更多資訊請關注PHP中文網其他相關文章!