Comment puis-je gérer efficacement la surcharge de données dans les requêtes HTTP GET ?

Gérer la surcharge de données dans les requêtes HTTP GET

Lors de la récupération de grandes quantités de données à partir de plusieurs URL, il devient crucial d'éviter de s'enliser dans des réponses trop volumineuses. Voici comment limiter la quantité de données lues lors d'une requête HTTP GET :

Limitation des octets lus

Pour contrôler le nombre d'octets reçus, utilisez un io.LimitedReader. Ce lecteur limite les données renvoyées à un nombre spécifié d'octets. Par exemple :

limitedReader := &io.LimitedReader{R: response.Body, N: limit}
body, err := io.ReadAll(limitedReader)

Ici, la limite est le nombre maximum d'octets à lire.

Alternativement :

body, err := io.ReadAll(io.LimitReader(response.Body, limit))

Les deux approches permettent d'obtenir le même résultat en limitant les données récupérées du serveur.

En définissant une limite appropriée, vous pouvez vous assurer que votre L'opération de scraping ne restera pas bloquée avec des réponses volumineuses, vous permettant de traiter les données efficacement.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!