python - Utilisez le framework Scrapy pour explorer les images Baidu et être bloqué

Question

L'URL de l'adresse de requête est l'adresse json obtenue via Firefox. Elle peut être ouverte avec un navigateur, mais elle a été interdite lors de l'exploration avec Scrapy. Veuillez le résoudre.

https://image.baidu.com/searc...

Answer 1

Essayez-le sur settings.py 将 ROBOTSTXT_OBEY = False.

Answer 2

Essayez sans auditeurs

Answer 3

Je suis d'accord avec l'étage, s'il y aura encore un mur. La méthode scrapy+selenium+phantomjs peut être utilisée.