Bagaimanakah Saya Boleh Mengehadkan Penggunaan Data dalam Permintaan HTTP GET untuk Mengikis Web?

Menghadkan Penerimaan Data dalam Permintaan HTTP GET

Apabila mengikis halaman HTML, adalah penting untuk menghalang permintaan GET daripada menggunakan data yang berlebihan dan menghentikan proses.

Untuk mengawal volum data yang diterima daripada sumber tertentu, pertimbangkan untuk menggunakan io.LimitedReader. Pembaca ini secara berkesan mengehadkan data yang dibaca daripada sumber kepada had yang ditentukan.

// io.LimitedReader limits the number of bytes returned
limitedReader := &io.LimitedReader{R: response.Body, N: limit}
body, err := io.ReadAll(limitedReader)

Pendekatan alternatif ialah menggunakan io.LimitReader secara langsung:

body, err := io.ReadAll(io.LimitReader(response.Body, limit))

Dengan menggabungkan sama ada io. Kaedah LimitedReader atau io.LimitReader ke dalam kod pengendalian permintaan anda, anda boleh menetapkan ambang pengambilan data maksimum, memastikan yang berlebihan respons tidak menghalang kecekapan mengikis anda.

Atas ialah kandungan terperinci Bagaimanakah Saya Boleh Mengehadkan Penggunaan Data dalam Permintaan HTTP GET untuk Mengikis Web?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!