Comment faire du Web Scrape avec Puppeteer : un guide convivial pour les débutants

Le Web scraping est un outil incroyablement puissant pour collecter des données à partir de sites Web. Avec Puppeteer, la bibliothèque de navigateur sans tête de Google pour Node.js, vous pouvez automatiser le processus de navigation dans les pages, de clic sur les boutons et d'extraction d'informations, tout en imitant le comportement de navigation humain. Ce guide vous guidera à travers les bases du web scraping avec Puppeteer d'une manière simple, claire et exploitable.

Qu'est-ce que le Marionnettiste ?

Puppeteer est une bibliothèque Node.js qui vous permet de contrôler une version sans tête de Google Chrome (ou Chromium). Un navigateur sans tête fonctionne sans interface utilisateur graphique (GUI), ce qui le rend plus rapide et parfait pour les tâches d'automatisation telles que le scraping. Cependant, Puppeteer peut également fonctionner en mode navigateur complet si vous avez besoin de voir ce qui se passe visuellement.

Pourquoi choisir Puppeteer pour le Web Scraping ?

Flexibilité : Puppeteer gère facilement les sites Web dynamiques et les applications monopage (SPA).
Prise en charge de JavaScript : il exécute JavaScript sur les pages, ce qui est essentiel pour supprimer les applications Web modernes.
Puissance d'automatisation : vous pouvez effectuer des tâches telles que remplir des formulaires, cliquer sur des boutons et même prendre des captures d'écran.

Utiliser des proxys avec Puppeteer

Lors du scraping de sites Web, les proxys sont essentiels pour éviter les interdictions IP et accéder au contenu géo-restreint. Les proxys agissent comme intermédiaires entre votre scraper et le site Web cible, masquant votre véritable adresse IP. Pour Puppeteer, vous pouvez facilement intégrer des proxys en les passant comme arguments de lancement :

javascript
Copier le code
const navigateur = wait puppeteer.launch({
args : ['--proxy-server=votre-proxy-server:port']
});
Les proxys sont particulièrement utiles pour intensifier vos efforts de scraping. Les proxys rotatifs garantissent que chaque requête provient d'une adresse IP différente, réduisant ainsi les chances de détection. Les proxys résidentiels, connus pour leur authenticité, sont excellents pour contourner les défenses contre les robots, tandis que les proxys des centres de données sont plus rapides et plus abordables. Choisissez le type qui correspond à vos besoins de grattage et testez toujours les performances pour garantir la fiabilité.

Mise en place du marionnettiste

Avant de commencer à gratter, vous devrez configurer Puppeteer. Passons au processus étape par étape :
Étape 1 : Installez Node.js et Puppeteer
Installez Node.js : Téléchargez et installez Node.js depuis le site officiel.
Configurer Puppeteer : ouvrez votre terminal et exécutez la commande suivante :
bash
Copier le code
npm installer le marionnettiste

Cela installera Puppeteer et Chromium, le navigateur qu'il contrôle.
Étape 2 : Écrivez votre premier scénario de marionnettiste
Créez un nouveau fichier JavaScript, scraper.js. Cela hébergera votre logique de scraping. Écrivons un script simple pour ouvrir une page Web et extraire son titre :
javascript
Copier le code
const marionnettiste = require('marionnettiste');

(async() => {
const navigateur = wait puppeteer.launch();
const page = attendre navigateur.newPage();

// Naviguer vers un site Web
attendre page.goto('https://example.com');

// Extraire le titre
const title = attendre page.title();
console.log(Titre de la page : ${title});

attendre navigateur.close();
})();

Exécutez le script en utilisant :
bash
Copier le code
nœud scraper.js

Vous venez d'écrire votre premier grattoir Marionnettiste !

Fonctionnalités de base du marionnettiste pour le grattage

Maintenant que vous maîtrisez les bases, explorons quelques fonctionnalités clés de Puppeteer que vous utiliserez pour le scraping.

1. Navigation vers les pages
   La méthode page.goto(url) vous permet d'ouvrir n'importe quelle URL. Ajoutez des options telles que les paramètres de délai d'expiration si nécessaire :
   javascript
   Copier le code
   wait page.goto('https://example.com', { timeout: 60000 });

2. Sélection des éléments
   Utilisez des sélecteurs CSS pour identifier les éléments sur une page. Puppeteer propose des méthodes telles que :
   page.$(sélecteur) pour le premier match
   page.$$(sélecteur) pour tous les matchs
   Exemple :
   javascript
   Copier le code
   élément const = page d'attente.$('h1');
   const text = wait page.evaluate(el => el.textContent, element);
   console.log(Titre : ${text});

3. Interagir avec les éléments
   Simulez les interactions des utilisateurs, telles que les clics et la saisie :
   javascript
   Copier le code
   attendre page.click('#submit-button');
   wait page.type('#search-box', 'Puppeteer scraping');

4. En attente des éléments
   Les pages Web se chargent à différentes vitesses. Puppeteer vous permet d'attendre des éléments avant de continuer :
   javascript
   Copier le code
   wait page.waitForSelector('#dynamic-content');

5. Prendre des captures d'écran
   Le débogage visuel ou l'enregistrement de données sous forme d'images est facile :
   javascript
   Copier le code
   wait page.screenshot({ chemin : 'screenshot.png', fullPage : true });

Gestion du contenu dynamique

De nombreux sites Web utilisent aujourd'hui JavaScript pour charger du contenu de manière dynamique. Puppeteer brille ici car il exécute JavaScript, vous permettant de récupérer le contenu qui pourrait ne pas être visible dans la source de la page.
Exemple : Extraction de données dynamiques
javascript
Copier le code
attendre page.goto('https://news.ycombinator.com');
attendre page.waitForSelector('.storylink');

const headlines = wait page.$$eval('.storylink', links => links.map(link => link.textContent));
console.log('Titres :', titres);

Gérer le CAPTCHA et la détection de robots

Certains sites Web ont mis en place des mesures pour bloquer les robots. Le Marionnettiste peut aider à contourner des contrôles simples :
Utiliser le mode furtif : installez le plugin puppeteer-extra :
bash
Copier le code
npm install marionnettiste-extra marionnettiste-extra-plugin-stealth
Ajoutez-le à votre script :
javascript
Copier le code
const marionnettiste = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());

Imitez le comportement humain : randomisez les actions telles que les mouvements de la souris et les vitesses de frappe pour paraître plus humain.
Rotation des agents utilisateurs : modifiez l'agent utilisateur de votre navigateur à chaque demande :
javascript
Copier le code
wait page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64)');

Sauvegarde des données récupérées

Après avoir extrait les données, vous souhaiterez probablement les enregistrer. Voici quelques formats courants :
JSON :
javascript
Copier le code
const fs = require('fs');
const data = { nom : 'Marionnette', type : 'bibliothèque' };
fs.writeFileSync('data.json', JSON.stringify(data, null, 2));

CSV : utilisez une bibliothèque comme csv-writer :
bash
Copier le code
npm installer csv-writer
javascript
Copier le code
const createCsvWriter = require('csv-writer').createObjectCsvWriter;

const csvWriter = createCsvWriter({
chemin : 'data.csv',
en-tête : [
{ identifiant : 'nom', titre : 'Nom' },
{ id : 'type', titre : 'Type' }
]
});

const records = [{ nom : 'Marionnette', type : 'bibliothèque' }];
csvWriter.writeRecords(records).then(() => console.log('Fichier CSV écrit.'));
Pratiques éthiques de Web Scraping
Avant de supprimer un site Web, gardez ces directives éthiques à l'esprit :
Vérifiez les conditions d'utilisation : assurez-vous toujours que le site Web autorise le scraping.
Respectez les limites de débit : évitez d’envoyer trop de demandes en peu de temps. Utilisez setTimeout ou page.waitForTimeout() de Puppeteer pour espacer les requêtes :
javascript
Copier le code
attendre page.waitForTimeout(2000); // Attend 2 secondes

Évitez les données sensibles : ne récupérez jamais d'informations personnelles ou privées.

Dépannage des problèmes courants

La page ne se charge pas correctement : essayez d'ajouter un délai d'attente plus long ou d'activer le mode navigateur complet :
javascript
Copier le code
const navigateur = wait puppeteer.launch({ headless: false });

Les sélecteurs ne fonctionnent pas : inspectez le site Web avec les outils de développement du navigateur (Ctrl Maj C) pour confirmer les sélecteurs.
Bloqué par CAPTCHA : utilisez le plugin furtif et imitez le comportement humain.

Foire aux questions (FAQ)

1. Le marionnettiste est-il gratuit ? Oui, Puppeteer est open source et gratuit.
2. Puppeteer peut-il gratter des sites Web contenant beaucoup de JavaScript ? Absolument! Puppeteer exécute JavaScript, ce qui le rend parfait pour scraper des sites dynamiques.
3. Le Web Scraping est-il légal ? Ça dépend. Vérifiez toujours les conditions d’utilisation du site Web avant de gratter.
4. Le marionnettiste peut-il contourner le CAPTCHA ? Puppeteer peut gérer les défis CAPTCHA de base, mais les défis avancés peuvent nécessiter des outils tiers.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!