Web スクレイピングの HTTP GET リクエストのデータ消費を制限するにはどうすればよいですか?

HTTP GET リクエストでのデータ受信の制限

HTML ページをスクレイピングするときは、GET リクエストが過剰なデータを消費してページの停止を防ぐことが重要です。

特定のリソースから受信するデータの量を制御するには、 io.LimitedReader。このリーダーは、ソースから読み取られるデータを指定された制限に効果的に制限します。

// io.LimitedReader limits the number of bytes returned
limitedReader := &io.LimitedReader{R: response.Body, N: limit}
body, err := io.ReadAll(limitedReader)

別のアプローチは、io.LimitReader を直接使用することです。

body, err := io.ReadAll(io.LimitReader(response.Body, limit))

いずれかの io.LimitReader を組み込むことによって。 LimitedReader または io.LimitReader メソッドをリクエスト処理コードに組み込むと、最大データ取り込みしきい値を設定して、過剰な応答がスクレイピングを妨げないようにすることができます。効率性。

以上がWeb スクレイピングの HTTP GET リクエストのデータ消費を制限するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。