Wie kann ich mit „subprocess.Popen' effizient Multiprozess-Pipelines in Python erstellen?

Verwendung von subprocess.Popen für Multi-Process-Pipelines

Beim Verbinden mehrerer Prozesse über Pipes mithilfe des Subprocess-Moduls ist es wichtig zu verstehen, wie diese Pipes eingerichtet werden. In diesem Fall besteht das Ziel darin, den Shell-Befehl zu replizieren:

echo "input data" | awk -f script.awk | sort > outfile.txt

Zunächst wurde versucht, diese Aufgabe wie folgt zu erfüllen:

p_awk = subprocess.Popen(["awk","-f","script.awk"],
                          stdin=subprocess.PIPE,
                          stdout=file("outfile.txt", "w"))
p_awk.communicate( "input data" )

Dieser Ansatz verwendet jedoch nur Pipes data an awk, die Ausgabe kann jedoch nicht an sort umgeleitet werden. Um dieses Problem zu beheben, können wir die Fähigkeiten der Shell nutzen.

awk_sort = subprocess.Popen( "awk -f script.awk | sort > outfile.txt",
    stdin=subprocess.PIPE, shell=True )
awk_sort.communicate( b"input data\n" )

Dieser überarbeitete Ansatz delegiert den Pipeline-Aufbau an die Shell, sodass diese die nahtlose Übertragung von Daten zwischen Prozessen abwickeln kann.

Darüber hinaus ist es ratsam, die Verwendung von awk insgesamt zu überdenken. Durch die direkte Implementierung der erforderlichen Verarbeitung in Python können Sie den Code vereinfachen und potenzielle Probleme beseitigen, die sich aus mehreren Programmiersprachen und der Komplexität der Pipeline-Verarbeitung ergeben.

Das obige ist der detaillierte Inhalt vonWie kann ich mit „subprocess.Popen' effizient Multiprozess-Pipelines in Python erstellen?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!