Comment utiliser PHP et phpSpider pour explorer l'intégralité du contenu d'un site Web ?

Comment utiliser PHP et phpSpider pour explorer l'intégralité du contenu d'un site Web ?

À l'ère moderne d'Internet, l'acquisition d'informations est devenue de plus en plus importante. Pour certains projets nécessitant de grandes quantités de données, l’exploration du contenu complet du site est devenue une méthode efficace. Après des années de développement, phpSpider est devenu un puissant outil d'exploration PHP, aidant les développeurs à explorer plus facilement les données des sites Web. Cet article explique comment utiliser PHP et phpSpider pour réaliser une exploration du contenu complet du site et donne des exemples de code correspondants.

1. Préparatifs préliminaires

Avant de commencer, nous devons installer PHP et Composer.

1. Installer PHP : Vous pouvez télécharger et installer la dernière version de PHP à partir du site officiel de PHP (https://www.php.net/downloads).
2. Installer Composer : ouvrez une fenêtre de terminal ou de ligne de commande et exécutez la commande suivante pour installer Composer :

php -r "copy('https://install.phpcomposer.com/installer', 'composer-setup.php');"
php composer-setup.php
php -r "unlink('composer-setup.php');"

3. Entrez le répertoire du projet et initialisez Composer :

cd your-project
composer init

2. Installez phpSpider

Dans le répertoire du projet, exécutez la commande suivante Pour installer phpSpider :

composer require phpspider/phpspider

3. Écrivez le code

Maintenant, nous pouvons commencer à écrire le script d'exploration. Voici un exemple d'exploration de l'intégralité du site pour un site Web donné.

<?php
require 'vendor/autoload.php';

use phpspidercorephpspider;
use phpspidercoreselector;

$configs = array(
    'name' => '全站内容抓取',
    'log_show' => true,
    'domains' => array(
        'example.com'
    ),
    'scan_urls' => array(
        'http://www.example.com'
    ),
    'list_url_regexes' => array(
        "//category/.*/"
    ),
    'content_url_regexes' => array(
        "//article/d+.html/"
    ),
    'fields' => array(
        array(
            'name' => 'title',
            'selector' => "//title",
            'required' => true
        ),
        array(
            'name' => 'content',
            'selector' => "//div[@class='content']",
            'required' => true
        )
    )
);

$spider = new phpspider($configs);

$spider->on_extract_field = function($fieldName, $data) {
    if ($fieldName == 'content') {
        $data = strip_tags($data);
    }
    return $data;
};

$spider->start();

Dans le code ci-dessus, nous avons d'abord présenté la bibliothèque phpspider et défini quelques configurations d'exploration. Dans la configuration, 'domains' contient le nom de domaine du site Web qui doit être exploré, 'scan_urls' contient la page de démarrage pour démarrer l'exploration, 'list_url_regexes' et 'content_url_regexes' spécifient respectivement les règles d'URL pour la page de liste et la page de contenu. .

Ensuite, nous définissons les champs qui doivent être capturés, où « nom » spécifie le nom du champ, « sélecteur » spécifie le sélecteur XPath ou CSS du champ dans la page Web et « obligatoire » précise si le champ est obligatoire. .

Pendant le processus d'exploration, nous pouvons traiter les champs capturés via la fonction de rappel $spider->on_extract_field. Dans l'exemple ci-dessus, nous avons supprimé les balises HTML dans le champ de contenu via la fonction strip_tags.

Enfin, nous démarrons le robot via la méthode $spider->start().

4. Exécutez le script

Dans la ligne de commande, entrez le répertoire du projet et exécutez la commande suivante pour exécuter le script d'exploration que vous venez d'écrire :

php your_script.php

Le script commencera à explorer l'intégralité du contenu du site Web spécifié et enregistrera le résultats Sortie vers la fenêtre de ligne de commande.

Résumé

En utilisant PHP et phpSpider, nous pouvons facilement explorer l'intégralité du contenu du site Web. Lors de l'écriture d'un script d'analyse, nous devons définir la configuration de l'analyse et définir le sélecteur XPath ou CSS correspondant en fonction de la structure de la page Web. Parallèlement, nous pouvons également traiter les données capturées via des fonctions de rappel pour répondre à des besoins spécifiques.

Références

1. Site officiel PHP : https://www.php.net/
2. Site officiel de Composer : https://getcomposer.org/
3. Documentation phpSpider : https://github.com/owner888/phpspider

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!