python - Comment confirmer rapidement le code d'état d'une page Web contenant plus de 200 millions d'URL?
J'ai utilisé des requêtes pour écrire un multi-thread, mais cela semble un peu lent. Existe-t-il d'autres méthodes ?
Maison > Questions et réponses > le corps du texte
J'ai utilisé des requêtes pour écrire un multi-thread, mais cela semble un peu lent. Existe-t-il d'autres méthodes ?
PHPz2017-05-18 10:58:14
Utilisez le support client curl de Tornado pour fermer la connexion après avoir lu l'en-tête de la requête. (Je ne l'ai pas encore essayé. Si le client HTTP qu'il fournit ne prend pas en charge la fermeture de la connexion à mi-chemin, vous pouvez utiliser TCP, puis utiliser http-parser pour l'analyser comme je l'ai fait.)
D'accord, en fait, vous pouvez simplement ajouter une extension à fetchtitle pour obtenir le code d'état... (n'oubliez pas d'installer pycurl)
巴扎黑2017-05-18 10:58:14
Python est intrinsèquement lent. Si vous voulez être rapide, écrivez simplement la requête TCP, puis lisez la réponse. Après avoir lu le statut, fermez le socket.
ringa_lee2017-05-18 10:58:14
Grâce aux requêtes, les requêtes sont encapsulées simultanément
https://github.com/kennethrei...
迷茫2017-05-18 10:58:14
Dans ce cas, vous pouvez envisager d'utiliser gevent, tornado, scrapy-redis, asyncio !
