Wie kann der gemeinsame Zugriff auf schreibgeschützte Daten im Multiprocessing sichergestellt werden?

Multiprocessing: Gemeinsamen Zugriff auf schreibgeschützte Daten sicherstellen

In Multiprocessing-Szenarien stellt sich häufig die Frage der Datenfreigabe zwischen Prozessen. Insbesondere beim Umgang mit großen schreibgeschützten Datenstrukturen ist es wünschenswert, das Kopieren dieser Daten in jeden Prozess zu vermeiden, was sowohl zeitaufwändig als auch speicherintensiv sein kann.

Beachten Sie den folgenden Codeausschnitt:

<code class="python">glbl_array = # a 3 Gb array

def my_func( args, def_param = glbl_array):
    #do stuff on args and def_param

if __name__ == '__main__':
  pool = Pool(processes=4)
  pool.map(my_func, range(1000))</code>

In diesem Beispiel wird eine globale Variable glbl_array als großes Array (3 GB) definiert. Die Funktion my_func ist für den Betrieb mit glbl_array konzipiert. Wenn mit Pool(processes=4) mehrere Prozesse zur parallelen Ausführung erzeugt werden, stellt sich die Frage: Erhält jeder Prozess eine separate Kopie der Daten in glbl_array oder teilen alle Prozesse dieselben schreibgeschützten Daten?

Unter Linux ermöglicht die Semantik des Fork-Systemaufrufs, der der Multiverarbeitung zugrunde liegt, die Copy-on-Write-Semantik. Das heißt, wenn glbl_array schreibgeschützt ist, werden die Daten nicht physisch zwischen Prozessen kopiert, es sei denn, dies ist erforderlich.

Wenn glbl_array jedoch geändert wird, werden von einem Prozess vorgenommene Änderungen in den Daten widergespiegelt, auf die alle anderen zugreifen können Prozesse. Um unerwünschte Datenüberschreibungen zu verhindern, sollten Sie erwägen, unveränderliche Objekte wie die tostring()-Darstellung von glbl_array als Standardparameter für die Funktion zu verwenden.

Alternativ kann man die vom Python-Multiprocessing-Modul bereitgestellten Shared-Memory-Funktionen nutzen um explizit gemeinsam genutzte Speichersegmente zu erstellen und zu verwalten und so sicherzustellen, dass die Daten nicht prozessübergreifend dupliziert werden.

Das obige ist der detaillierte Inhalt vonWie kann der gemeinsame Zugriff auf schreibgeschützte Daten im Multiprocessing sichergestellt werden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!