Comment arrêter le robot d'exploration dans Golang

Avec le développement d'Internet, la technologie des robots d'exploration est progressivement devenue l'un des outils importants pour obtenir des informations sur le réseau. Les gens peuvent utiliser la technologie des robots d’exploration pour obtenir de grandes quantités de données à partir de sites Web afin d’effectuer des analyses et des prédictions plus précises. Cependant, les robots d'exploration sont également confrontés à de nombreuses difficultés et limitations, notamment dans la programmation Golang, l'arrêt des robots d'exploration reste un problème courant.

Golang est un langage de programmation relativement nouveau et son émergence a attiré une large attention. Comparé à d'autres langages, le langage Go présente les avantages d'efficacité, de simplicité, de concurrence, etc., il a donc été largement utilisé dans la programmation réseau, la programmation système, le cloud computing et d'autres domaines. Cependant, lorsque nous utilisons Golang dans la programmation sur robots, nous devons également prêter attention à certains problèmes.

D'une manière générale, l'écriture de robots implique deux opérations de base, à savoir la demande de pages Web et l'analyse des pages Web. La bibliothèque standard de Golang fournit deux packages, "net/http" et "goquery", qui sont utilisés respectivement pour envoyer des requêtes et analyser des documents HTML. Nous pouvons utiliser ces outils pour implémenter un programme d'exploration complet. Le code est le suivant :

package main

import (
    "fmt"
    "github.com/PuerkitoBio/goquery"
    "net/http"
)

func main() {
    // Step 1: 发送请求
    url := "https://www.example.com"
    req, _ := http.NewRequest("GET", url, nil)
    req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3")
    client := &http.Client{}
    resp, _ := client.Do(req)
    defer resp.Body.Close()

    // Step 2: 解析网页
    doc, _ := goquery.NewDocumentFromReader(resp.Body)
    doc.Find("a").Each(func(i int, s *goquery.Selection) {
        href, _ := s.Attr("href")
        fmt.Println(href)
    })
}

Dans ce code, nous utilisons d'abord le package "net/http" pour envoyer des requêtes HTTP, puis utilisons le package "goquery" pour analyser. le document HTML. Obtenant ainsi tous les liens dans la page Web cible. À ce stade, nous devrons peut-être réfléchir à la manière d'arrêter l'exécution du programme d'exploration.

Une approche courante consiste à définir un compteur et à arrêter le robot lorsqu'il atteint une certaine valeur. Dans le langage Go, vous pouvez utiliser l'instruction « select » et les variables de type « chan » pour implémenter la fonction timer. Le fonctionnement spécifique est la suivante :

package main

import (
    "fmt"
    "github.com/PuerkitoBio/goquery"
    "net/http"
    "time"
)

func main() {
    url := "https://www.example.com"
    req, _ := http.NewRequest("GET", url, nil)
    req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3")

    client := &http.Client{}
    resp, _ := client.Do(req)
    defer resp.Body.Close()

    doc, _ := goquery.NewDocumentFromReader(resp.Body)

    done := make(chan int)
    go func() {
        doc.Find("a").Each(func(i int, s *goquery.Selection) {
            href, _ := s.Attr("href")
            fmt.Println(href)
            if i == 10 { //停止条件
                done <- 1
            }
        })
    }()

    select {
    case <-done:
        fmt.Println("Done!")
    case <-time.After(time.Second * 10):
        fmt.Println("Time out!")
    }
}

Dans cet exemple, nous utilisons la variable "done" de type "chan" pour communiquer Lorsque le compteur atteint une valeur spécifique, un message est envoyé au processus principal via le "done". variable pour arrêter l’exécution du programme d’exploration. Dans le même temps, nous définissons également une minuterie de 10 secondes. Si la tâche d'exploration ne peut pas être terminée dans les 10 secondes, le programme s'arrêtera automatiquement.

Pour résumer, dans la programmation Golang, nous pouvons utiliser les packages "net/http" et "goquery" de la bibliothèque standard pour envoyer des requêtes et analyser des documents HTML, et en même temps, utiliser l'instruction "select" et "chan " Variables de type Pour mettre en œuvre des fonctions de minuterie et de communication. Ces outils peuvent nous aider à écrire des programmes d'exploration efficaces et stables, à arrêter l'exécution du programme à temps lorsque cela est nécessaire et à éviter le gaspillage inutile de données et la consommation de ressources informatiques.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!