python - Utilisez Scrapy pour écrire un robot après avoir envoyé une requête, le serveur renvoie directement 202. Que dois-je faire?

Question

J'ai exploré le réseau chinois de documents de jugement, et tout allait bien avant, j'ai envoyé une demande, et le serveur en a renvoyé 200, puis j'ai traité les données dans le corps

.

Mais il y a une semaine, toutes les demandes ont renvoyé 202, puis le corps de la réponse était également vide et aucune donnée n'a pu être obtenue du tout. J'ai bloqué et attendu dans la fonction de rappel pendant (response.status == 202) et j'ai même dormi. en vain, le statut ne changera pas

Que dois-je faire ?

J'ai utilisé le service proxy IP de crwalera. C'était aussi 202 pendant un certain temps auparavant, mais ça s'est amélioré au bout d'une journée, mais cette fois cela a duré une semaine, ce qui est très étrange

Je pense que le site cible a trop de charge, j'utilise donc une méthode asynchrone pour envoyer des données, mais comment recevoir correctement ses données dans scrapy

?

Answer 1

Cette situation est généralement causée par une exploration illégale et le serveur a mis en place des restrictions anti-exploration. S'il est capturé légalement, vous pouvez communiquer avec le service de contenu pour voir s'il y a des dommages accidentels. S'il est capturé illégalement, il est recommandé de ne pas le faire dans les cas graves, il peut y avoir un risque de poursuites.

Answer 2

Si vous avez été empêché de récolter, vous pouvez essayer de changer votre adresse IP ou de rechercher des failles pour empêcher la récolte