Werden große Datenstrukturen im Multiprocessing von Python gemeinsam genutzt oder kopiert?

Shared Memory in Multiprocessing

Im Multiprocessing-Modul von Python ist die Frage von Bedeutung, ob große Datenstrukturen zwischen Prozessen gemeinsam genutzt oder kopiert werden.

Ursprüngliches Anliegen

Beim Erstellen mehrerer Prozesse mit multiprocessing.Process und der Übergabe großer Listen als Argumente besteht die Sorge darin, ob diese Listen für jeden Prozess kopiert oder zwischen ihnen gemeinsam genutzt werden. Wenn jeder Prozess eine Kopie erstellt, könnte dies die Speichernutzung erheblich erhöhen.

Copy-on-Write

Linux verwendet einen Copy-on-Write-Ansatz, was Folgendes impliziert Daten werden erst dann physisch kopiert, wenn sie geändert werden. Dies deutet darauf hin, dass die Listen nicht für jeden Unterprozess dupliziert würden.

Referenzzählung

Der Zugriff auf ein Objekt aktualisiert jedoch dessen Referenzanzahl. Wenn ein Unterprozess auf ein Listenelement zugreift, erhöht sich dessen Referenzanzahl. Daher ist unklar, ob das gesamte Objekt (die Liste) kopiert würde.

Überwachung der Speichernutzung

Beobachtungen deuten darauf hin, dass tatsächlich ganze Objekte kopiert werden. für jeden Unterprozess dupliziert, möglicherweise aufgrund der Referenzzählung. Dies ist problematisch, wenn die Listen nicht geändert werden können und ihre Referenzanzahl immer positiv ist.

Shared Memory in Python 3.8.0

Python 3.8.0 führt „true“ ein Shared Memory mithilfe des Moduls multiprocessing.shared_memory. Dies ermöglicht die explizite Erstellung von Shared-Memory-Objekten, auf die von mehreren Prozessen aus ohne Kopieren zugegriffen werden kann.

Zusammenfassend lässt sich sagen, dass der Copy-on-Write-Ansatz in Linux die Wahrscheinlichkeit des Kopierens großer Datenstrukturen verringert, die Referenzzählung jedoch zum tatsächlichen Kopieren führen. Die Verwendung von „echtem“ gemeinsam genutztem Speicher in Python 3.8.0 löst dieses Problem, indem ein Mechanismus zum Erstellen explizit gemeinsam genutzter Objekte bereitgestellt wird.

Das obige ist der detaillierte Inhalt vonWerden große Datenstrukturen im Multiprocessing von Python gemeinsam genutzt oder kopiert?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!