Comment puis-je créer efficacement des pipelines multi-processus en Python à l'aide de « subprocess.Popen » ?

Utilisation de subprocess.Popen pour les pipelines multi-processus

Lors de la connexion de plusieurs processus via des tuyaux à l'aide du module de sous-processus, il est essentiel de comprendre comment ces tuyaux sont établis. Dans ce cas, l'objectif est de répliquer la commande shell :

echo "input data" | awk -f script.awk | sort > outfile.txt

Initialement, une tentative a été faite pour accomplir cette tâche comme suit :

p_awk = subprocess.Popen(["awk","-f","script.awk"],
                          stdin=subprocess.PIPE,
                          stdout=file("outfile.txt", "w"))
p_awk.communicate( "input data" )

Cependant, cette approche ne concerne que les tuyaux data vers awk mais ne parvient pas à rediriger sa sortie vers le tri. Pour résoudre ce problème, nous pouvons utiliser les capacités du shell.

awk_sort = subprocess.Popen( "awk -f script.awk | sort > outfile.txt",
    stdin=subprocess.PIPE, shell=True )
awk_sort.communicate( b"input data\n" )

Cette approche révisée délègue la construction du pipeline au shell, lui permettant de gérer le transfert transparent des données entre les processus.

De plus, il est conseillé de reconsidérer complètement l’utilisation de awk. En implémentant directement le traitement nécessaire dans Python, vous pouvez simplifier le code et éliminer les problèmes potentiels résultant de plusieurs langages de programmation et des complexités de gestion des pipelines.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!