Bagaimanakah Perpustakaan Permintaan Python Dioptimumkan untuk Menstrim Muat Turun Fail Besar?

Muat Turun Fail Dioptimumkan Strim dalam Python dengan Permintaan

Permintaan, perpustakaan HTTP yang terkenal, menghadapi cabaran dalam mengendalikan muat turun fail besar yang melebihi memori yang tersedia. Untuk mengatasi had ini, adalah penting untuk melaksanakan pendekatan penstriman yang membaca dan menulis ketulan fail semasa ia diterima.

Pendekatan konvensional, seperti yang dilihat dalam coretan kod yang disediakan, kurang dalam hal ini. Walaupun menggunakan r.iter_content(), yang berulang ke atas kandungan respons dalam ketulan, respons masih dicache dalam ingatan.

Untuk menangani isu ini, pertimbangkan untuk memperkenalkan keupayaan penstriman ke dalam kod. Pengubahsuaian utama terletak pada pelaksanaan requests.get() dengan parameter strim ditetapkan kepada Benar. Ini membolehkan pustaka mendapatkan semula kandungan respons tanpa menyimpannya dalam ingatan:

def download_file(url):
    local_filename = url.split('/')[-1]
    with requests.get(url, stream=True) as r:
        r.raise_for_status()
        with open(local_filename, 'wb') as f:
            for chunk in r.iter_content(chunk_size=8192): 
                f.write(chunk)
    return local_filename

Melalui pengoptimuman ini, penggunaan memori Python kekal terhad tanpa mengira saiz fail yang dimuat turun. Penggunaan iter_content dengan saiz ketulan tertentu memastikan bahawa data ditulis pada fail dalam bahagian yang boleh diurus, mengelakkan keletihan memori.

Perhatikan bahawa bilangan bait yang dikembalikan dalam setiap ketulan mungkin tidak sejajar dengan saiz ketulan yang ditentukan . Ia adalah perkara biasa untuk saiz ketulan yang diambil berubah-ubah dan menjadi jauh lebih besar daripada saiz yang ditetapkan. Untuk mendapatkan butiran tentang tingkah laku ini, rujuk dokumentasi rasmi untuk iter_content dan aliran kerja kandungan badan.

Atas ialah kandungan terperinci Bagaimanakah Perpustakaan Permintaan Python Dioptimumkan untuk Menstrim Muat Turun Fail Besar?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!