PHP et phpSpider : Comment gérer les bannissements IP des sites anti-crawler ?

PHP et phpSpider : Comment gérer les bannissements IP des sites anti-crawler ?

Introduction : 
Dans le processus d'exploration Web ou de collecte de données, nous rencontrons souvent certains sites Web qui adoptent des stratégies anti-crawler et bloquent les IP qui lancent fréquemment des demandes d'accès. Cet article expliquera comment utiliser PHP et le framework phpSpider pour gérer cette stratégie de blocage IP et fournira des exemples de code.

1. Le principe et la stratégie de réponse du bannissement IP
   Le principe du bannissement IP d'un site Web repose généralement sur la fréquence d'accès à l'adresse IP ou sur la correspondance de règles données. Pour faire face à cette stratégie de blocage, nous pouvons adopter les méthodes suivantes :
2. Utiliser une IP proxy : En utilisant une IP proxy, chaque requête sera accessible via une IP différente, évitant ainsi d'être bannie par le site Web. Il s'agit d'une méthode relativement simple et directe. Nous pouvons utiliser le plug-in Proxy dans le framework phpSpider pour réaliser cette fonction. L'exemple de code est le suivant :

<?php
require 'vendor/autoload.php';

use phpspidercorephpspider;
use phpspidercoreequests;

// 设置代理ip
requests::set_proxy('http', 'ip地址', '端口号');

// 设置用户代理，模拟真实浏览器行为
requests::set_useragent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3');

// 其他请求设置...

$configs = array(
    'name' => '代理ip示例',
    'log_show' => true,
    'user_agent' => 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)',
    'domains' => array(
        'example.com',
    ),
    'scan_urls' => array(
        'http://example.com/',
    ),
    'list_url_regex' => array(
        "http://example.com/list/d+",
    ),
    'content_url_regex' => array(
        "http://example.com/content/d+",
    ),
    // 其他爬虫配置...
);

$spider = new phpspider($configs);

$spider->start();

2. Utiliser le pool de proxy IP : Maintenir un proxy IP stable et disponible. pool, de manière aléatoire Choisissez une adresse IP proxy différente pour l'accès afin de réduire le risque d'être banni. Nous pouvons utiliser des services proxy IP tiers ou créer notre propre pool de proxy IP. L'exemple de code est le suivant :

<?php
require 'vendor/autoload.php';

use phpspidercorephpspider;
use phpspidercoreequests;

// 获取IP代理
function get_proxy_ip()
{
    // 从代理池中随机选择一个IP
    // ... 从代理池获取代理IP的代码
    return $proxy_ip;
}

// 设置代理IP
requests::set_proxy('http', get_proxy_ip());

// 其他请求设置...

$configs = array(
    // 爬虫配置
    // ...
);

$spider = new phpspider($configs);

$spider->start();

3. Ajuster la fréquence des requêtes : si la raison de l'interdiction est l'envoi fréquent de requêtes, vous pouvez ajuster la fréquence des requêtes et augmenter l'intervalle entre les requêtes pour éviter d'envoyer un grand nombre de requêtes dans un courte période de temps. L'exemple de code est le suivant :

<?php
require 'vendor/autoload.php';

use phpspidercorephpspider;
use phpspidercoreequests;

// 设置请求间隔时间
requests::set_sleep_time(1000); // 1秒

// 其他请求设置...

$configs = array(
    // 爬虫配置
    // ...
);

$spider = new phpspider($configs);

$spider->start();

2. Utilisez le framework phpSpider pour implémenter des stratégies anti-crawler
   phpSpider est un framework de robot d'exploration Web PHP qui simplifie le processus de développement des robots d'exploration Web et fournit des plug-ins fonctionnels couramment utilisés. Lors de l'exploration de sites Web devant gérer des anti-crawlers, nous pouvons mettre en œuvre les stratégies correspondantes en utilisant les fonctions fournies par le framework phpSpider. Voici quelques plug-ins fonctionnels courants et exemples de codes :
3. Plug-in Useragent : définissez des informations d'en-tête Useragent déguisées pour simuler les requêtes du navigateur, ce qui peut éviter d'être reconnu comme un robot d'exploration par le site Web. L'exemple de code est le suivant :

<?php
require 'vendor/autoload.php';

use phpspidercorephpspider;
use phpspidercoreequests;
use phpspidercoreselector;

// 设置Useragent
requests::set_useragent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3');

// 其他请求设置...

$configs = array(
    // 爬虫配置
    // ...
);

$spider = new phpspider($configs);

$spider->start();

2. Plug-in Referer : définissez une valeur Referer valide pour simuler la page à partir de laquelle l'utilisateur saute, ce qui peut parfois contourner certaines détections anti-crawler. L'exemple de code est le suivant :

<?php
require 'vendor/autoload.php';

use phpspidercorephpspider;
use phpspidercoreequests;

// 设置Referer
requests::referer('http://www.example.com');

// 其他请求设置...

$configs = array(
    // 爬虫配置
    // ...
);

$spider = new phpspider($configs);

$spider->start();

Résumé :
Cet article présente comment gérer la stratégie d'interdiction IP des sites Web anti-crawler dans les frameworks PHP et phpSpider. En utilisant une adresse IP proxy, un pool de proxy IP, en ajustant la fréquence des demandes et d'autres méthodes, vous pouvez efficacement éviter le risque d'être banni. Dans le même temps, le framework phpSpider fournit des plug-ins fonctionnels, tels que le plug-in Useragent et le plug-in Referer, qui peuvent nous aider à mieux simuler le comportement du navigateur et à mieux répondre aux stratégies anti-crawler. J'espère que cet article sera utile aux développeurs de robots d'exploration Web et de collecte de données.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!