python - Comment confirmer rapidement le code d'état d'une page Web contenant plus de 200 millions d'URL?

Question

J'ai écrit un multithread à l'aide de requêtes, mais cela semble un peu lent. Existe-t-il d'autres méthodes ?

PHPz · Answer

Utilisez le support client curl de Tornado pour fermer la connexion après avoir lu l'en-tête de la requête. (Je ne l'ai pas encore essayé. Si le client HTTP qu'il fournit ne prend pas en charge la fermeture de la connexion à mi-chemin, vous pouvez utiliser TCP, puis utiliser http-parser pour l'analyser comme je l'ai fait.)

D'accord, en fait, vous pouvez simplement ajouter une extension à fetchtitle pour obtenir le code d'état... (n'oubliez pas d'installer pycurl)

巴扎黑 · Answer

Python est intrinsèquement lent. Si vous voulez être rapide, écrivez simplement la requête TCP, puis lisez la réponse. Après avoir lu le statut, fermez le socket.

ringa_lee · Answer

Grâce aux requêtes, les requêtes sont encapsulées simultanément

https://github.com/kennethrei...

迷茫 · Answer

Dans ce cas, vous pouvez envisager d'utiliser gevent, tornado, scrapy-redis, asyncio !

大家讲道理 · Answer

Utiliser Head pour demander, cela peut-il être plus rapide ?

python - Comment confirmer rapidement le code d'état d'une page Web contenant plus de 200 millions d'URL?

répondre à tous(5)je répondrai