gs-fastcopy: CPU-Anzahl für Upload-Worker abrufen

Siehe vorherigen Beitrag: Einführung von gs-fastcopy

Ich habe die Erweiterung gs-fastcopy-python#10 ausgeliefert: Überprüfen Sie die Prozessoranzahl für bessere Upload-Standardwerte.

Zuvor waren wir standardmäßig auf 8 Mitarbeiter eingestellt (Googles Standard). Auf einem System mit mehr als 8 Kernen bleibt dadurch viel ungenutzt!

Jetzt überprüfen wir die verfügbare CPU-Anzahl. Wir respektieren os.get_schedaffinity auf Systemen, die es unterstützen (Prozessoren, die für diesen Prozess nicht nur im Allgemeinen verfügbar sind), andernfalls verwenden wir os.cpu_count().

Benchmarking-Ergebnisse: [Quellenblatt]

Beachten Sie, dass die Hinzufügung von Arbeitskräften den Prozess beschleunigt, aber zu geringeren Erträgen führt. Ich denke, dann wird die Netzwerkübertragung selbst zum Engpass, aber es ist wahrscheinlich, dass auch eine Anpassung der Chunk-Größen helfen würde.

Beachten Sie auch die dramatischeren Auswirkungen bei Verwendung der Komprimierung (mit Pigz, Parallel Gzip). pigz hätte die Max-Worker schon früher aufgegriffen, was hier neu ist, ist, sie auch in den Upload aufzunehmen.

Das obige ist der detaillierte Inhalt vongs-fastcopy: CPU-Anzahl für Upload-Worker abrufen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!