如何有效管理HTTP GET請求中的資料過載？

管理HTTP GET 請求中的資料過載

從多個URL 抓取大量資料時，防止因過大的回應而陷入困境變得至關重要。以下是如何限制HTTP GET 請求期間讀取的資料量：

限制讀取位元組數

要控制接收的位元組數，請使用io. LimitedReader。此讀取器將傳回的資料限制為指定的位元組數。例如：

limitedReader := &io.LimitedReader{R: response.Body, N: limit}
body, err := io.ReadAll(limitedReader)

這裡，limit 是讀取的最大位元組數。

或：

body, err := io.ReadAll(io.LimitReader(response.Body, limit))

兩種方法都實現透過限制從伺服器擷取的資料來獲得相同的結果。

透過設定適當的限制，您可以確保您的抓取操作不會因大響應而卡住，從而使您能夠有效地處理資料。

以上是如何有效管理HTTP GET請求中的資料過載？的詳細內容。更多資訊請關注PHP中文網其他相關文章！