Le robot d'exploration Python renvoie une solution d'erreur 403

Problème

Lors de l'exploration des données, les informations de débogage sont généralement :

DEBUG: Crawled (200) <GET http://www.php.cn/> (referer: None)

Si

DEBUG: Crawled (403) <GET http://www.php.cn/> (referer: None)

apparaît, cela signifie que le site Web utilise un anti-web technologie -technique d'exploration (utilisée par Amazon), qui est relativement simple et vérifie les informations de l'agent utilisateur (User Agent).

Solution

Construisez un agent utilisateur dans l'en-tête de la requête, comme indiqué ci-dessous :

def start_requests(self):  
    yield Request("http://www.php.cn/",  
                  headers={'User-Agent': "your agent string"})

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!