Web ページをスクレイピングするときに HTTP GET リクエストのデータ消費を制限するにはどうすればよいですか?

HTTP GET リクエストでのデータ消費の制限

HTML ページをスクレイピングする場合、HTTP GET で受信するデータの量を制限すると有益な場合があります潜在的なボトルネックを回避するためのリクエスト。これは、過剰なデータを配信する URL を扱う場合に特に重要です。

これを実現するには、io.LimitedReader または io.LimitReader の利用を検討してください。これらのツールを使用すると、応答から読み取られる最大バイト数を制御できます。

io.LimitedReader の使用:

limitedReader := &io.LimitedReader{R: response.Body, N: limit}
body, err := io.ReadAll(limitedReader)

io.LimitReader の使用:

body, err := io.ReadAll(io.LimitReader(response.Body, limit))

limit パラメーターを設定すると、読み込む最大バイトサイズを指定できます。これにより、GET リクエストによる過剰なデータの消費が防止され、スクレイピング プロセスの合理化に役立ちます。

以上がWeb ページをスクレイピングするときに HTTP GET リクエストのデータ消費を制限するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。