Exemples pour expliquer comment utiliser nodejs pour implémenter la fonction de collecte de pages Web

Ces dernières années, avec le développement continu d'Internet, la collecte de données est devenue un travail indispensable pour de nombreuses personnes. Parmi elles, la collecte de pages Web est une méthode relativement courante. Node.js est une technologie très adaptée à la collecte de pages Web.

1. Qu'est-ce que Node.js ?

Node.js est un environnement d'exécution open source multiplateforme permettant d'écrire du code côté serveur à l'aide de JavaScript. Il est basé sur le moteur Chrome V8, un modèle d'E/S non bloquant et piloté par événements, et présente les caractéristiques de haute efficacité et de légèreté.

2. Avantages de Node.js

Le modèle d'E/S non bloquant et le pilote d'événement de Node.js peuvent gérer une concurrence élevée et des requêtes à grande échelle. Grâce aux E/S asynchrones, un seul thread peut gérer des milliers de connexions simultanées et la vitesse de réponse est très rapide. Dans le même temps, Node.js utilise un modèle à thread unique, il n'y aura donc aucun problème de performances causé par la synchronisation des threads. Dans le même temps, la conception modulaire de Node.js rend le code plus simple et plus facile à maintenir.

3. Application de Node.js

1. Développement d'applications Web

Node.js peut être utilisé pour développer rapidement des applications Web hautes performances. JavaScript étant un langage dynamique, il peut être facilement programmé dynamiquement. Les excellentes caractéristiques d'E/S asynchrones de Node.js le rendent très adapté au développement d'applications Web en temps réel.

2. Collecte de données

Étant donné que Node.js peut utiliser JavaScript pour écrire du code côté serveur, il est très approprié pour la collecte de données. Surtout pour les scénarios qui nécessitent l'exploration d'un grand nombre de pages Web, la fonctionnalité d'E/S asynchrones de Node.js peut mieux améliorer l'efficacité de la collecte.

4. Excellent cas : Node.js implémente la collecte de pages Web

La fonctionnalité d'E/S asynchrones de Node.js est très adaptée à la gestion des scénarios de collecte de pages Web. Ici, nous pouvons utiliser un exemple pratique pour montrer comment utiliser Node.js pour implémenter la collection de pages Web.

Supposons que nous devions collecter des informations sur les produits à partir d'un site Web de commerce électronique :

1. Tout d'abord, nous devons utiliser le module de demande pour accéder au site Web et obtenir le contenu de la page Web.

const request = require('request');
const url = 'http://www.jd.com';
const options = {
    method: 'GET'
};
request(url, options, function(err, response, body) {
    if(err) {
        console.log(err);
    } else {
        console.log(body);
    }
});

2. Ensuite, nous devons utiliser le module cheerio pour analyser le contenu Web. Cheerio est une bibliothèque qui peut fonctionner en HTML/XML comme jQuery. Elle fournit une série de méthodes d'opération DOM et de méthodes Traversing, qui peuvent facilement localiser les nœuds HTML.

const cheerio = require('cheerio');
const $ = cheerio.load(body);
const goodsList = $('.goods-list li');
goodsList.each(function() {
    const goodsItem = $(this);
    const goodsTitle = goodsItem.find('.goods-title').text();
    const goodsPrice = goodsItem.find('.goods-price').text();
    console.log(goodsTitle + ' ' + goodsPrice);
});

3. Enfin, nous pouvons stocker les données collectées dans la base de données pour une analyse et un traitement ultérieurs.

const mysql = require('mysql');
const connection = mysql.createConnection({
    host: 'localhost',
    user: 'root',
    password: '',
    database: 'test'
});
goodsList.each(function() {
    const goodsItem = $(this);
    const goodsTitle = goodsItem.find('.goods-title').text();
    const goodsPrice = goodsItem.find('.goods-price').text();
    connection.query('INSERT INTO goods(title, price) VALUES(?, ?)', [goodsTitle, goodsPrice], function(err, result) {
        if(err) {
            console.log(err);
        }
    });
});

Après les trois étapes ci-dessus, nous pouvons utiliser Node.js pour implémenter la collection de pages Web.

Résumé : Node.js possède d'excellentes fonctionnalités d'E/S asynchrones et des performances élevées, ce qui le rend très approprié pour la collection de pages Web. Pour différents sites Web et besoins, nous pouvons développer une variété d'outils de collecte de pages Web grâce aux riches modules de Node.js.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!