Comment puis-je envoyer efficacement 100 000 requêtes HTTP en Python ?

Envoyer efficacement des requêtes HTTP en Python

Face à la tâche d'envoyer un grand nombre de requêtes HTTP en Python, la question de l'efficacité surgit. Le problème décrit consiste à envoyer 100 000 requêtes à partir d'un fichier d'URL, à obtenir leurs codes d'état et à les imprimer. Compte tenu du grand nombre de requêtes, trouver la méthode la plus rapide devient crucial.

Approche Twisted vs. Non-Twisted

Pour Python 2.6, une solution non-Twisted utilisant le threading offre une alternative plus rapide et plus simple. Le code « sans torsion » fourni dans la réponse utilise un pool de threads de 200 threads, garantissant que plusieurs requêtes HTTP sont traitées simultanément.

Détails de mise en œuvre

L'approche utilise un Objet file d'attente (q) pour gérer les URL. Un pool de threads est créé, chacun exécutant la fonction doWork. Cette fonction récupère une URL de la file d'attente, récupère son code d'état à l'aide de getStatus et effectue une action avec le résultat.

getStatus établit une connexion HTTP, envoie une requête HEAD et récupère le code d'état.

doSomethingWithResult gère le code d'état et l'URL. Dans l'exemple fourni, il les imprime simplement.

Comparaison des performances

Il a été démontré que le code fourni est plus rapide qu'une solution Twisted, utilisant moins de ressources CPU. Ceci est attribué à la mise en œuvre plus simple et à l'absence de surcharge de Twisted.

Considérations supplémentaires

Lors de l'utilisation de la concurrence en Python, il est important de prendre en compte des facteurs tels que la sécurité des threads. , la gestion des ressources et la gestion des exceptions. Le code fourni gère les exceptions dans la fonction getStatus et le programme principal se termine correctement lors d'une interruption du clavier.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!