Comment puis-je restreindre la consommation de données dans les requêtes HTTP GET lors du scraping de pages Web ?

Restriction de la consommation de données dans les requêtes HTTP GET

Lors du scraping de pages HTML, il peut être avantageux de limiter la quantité de données reçues dans HTTP GET demandes afin d’éviter d’éventuels goulots d’étranglement. Ceci est particulièrement important lorsqu'il s'agit d'URL qui fournissent des données excessives.

Pour y parvenir, envisagez d'utiliser un io.LimitedReader ou io.LimitReader. Ces outils vous permettent de contrôler le nombre maximum d'octets lus à partir d'une réponse.

Utilisation de io.LimitedReader :

limitedReader := &io.LimitedReader{R: response.Body, N: limit}
body, err := io.ReadAll(limitedReader)

Utilisation de io.LimitReader :

body, err := io.ReadAll(io.LimitReader(response.Body, limit))

Utilisation de io.LimitReader : En définissant le paramètre limite, vous pouvez spécifier l'octet maximum taille à lire. Cela empêche la requête GET de consommer des données excessives et contribue à rationaliser votre processus de scraping.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!