Bagaimana untuk memuat turun gambar serentak dengan berbilang benang dalam Python

Kadangkala mengambil masa berjam-jam untuk memuat turun banyak imej - mari kita betulkan

Saya faham - anda bosan menunggu program anda memuat turun imej. Kadang-kadang saya perlu memuat turun beribu-ribu imej yang mengambil masa berjam-jam, dan anda tidak boleh terus menunggu program anda selesai memuat turun imej bodoh ini. Anda mempunyai banyak perkara penting untuk dilakukan.

Mari bina skrip pemuat turun imej ringkas yang akan membaca fail teks dan memuat turun semua imej yang disenaraikan dalam folder dengan sangat pantas.

Kesan Akhir

Inilah yang akan kita bina pada akhirnya.

Pasang kebergantungan

Mari pasang pustaka permintaan kegemaran semua orang.

pip install requests

Sekarang kita akan melihat beberapa kod asas untuk memuat turun URL tunggal dan cuba mencari nama imej secara automatik dan cara menggunakan percubaan semula.

import requests

res = requests.get(img_url, stream=True)
count = 1
while res.status_code != 200 and count <p>Di sini kami cuba memuat turun semula imej lima kali sekiranya ia gagal. Sekarang, mari cuba cari nama imej secara automatik dan simpannya. </p><pre class="brush:php;toolbar:false">import more required library

import io
from PIL import Image

# lets try to find the image name
image_name = str(img_url[(img_url.rfind('/')) + 1:])
if '?' in image_name:
    image_name = image_name[:image_name.find('?')]

Penjelasan

Andaikan URL yang ingin kami muat turun ialah:

instagram.fktm7-1.fna.fbcdn. net /vp...

Nah, ini kelam kabut. Mari kita pecahkan fungsi kod untuk URL. Kita mulakan dengan menggunakan rfind untuk mencari garis miring ke hadapan terakhir (/) dan kemudian pilih semuanya selepas itu. Inilah hasilnya:

65872070_1200425330158967_6201268309743367902_n.jpg?_nc_ht=instagram.fktm7–1.fna.fbcd_n.net&_1 dan kemudian ambil apa sahaja yang ada sebelum ini.

Ini adalah nama imej akhir kami: ?

65872070_1200425330158967_6201268309743367902_n.jpg

Ini sangat sesuai untuk kes penggunaan.>

Sekarang kami telah memuat turun nama imej dan imej, kami akan menyimpannya.

Jika anda berfikir, "Bagaimanakah saya harus menggunakan kod di atas?" Ini adalah fungsi yang cantik dan semua yang kami lakukan di atas adalah diratakan. Di sini kami juga menguji sama ada jenis yang dimuat turun ialah imej, sekiranya nama imej tidak dijumpai.

i = Image.open(io.BytesIO(res.content))
i.save(image_name)

Kini, anda mungkin bertanya: "Di manakah pemproses berbilang yang dibincangkan oleh orang ini?".

def image_downloader(img_url: str):
    """
    Input:
    param: img_url  str (Image url)
    Tries to download the image url and use name provided in headers. Else it randomly picks a name
    """
    print(f'Downloading: {img_url}')
    res = requests.get(img_url, stream=True)
    count = 1
    while res.status_code != 200 and count Mudah sahaja. Kami hanya akan menentukan kumpulan kami dan menyampaikan fungsi dan URL imej kami. <p></p><p> Mari letakkan ini dalam fungsi: </p><pre class="brush:php;toolbar:false">results = ThreadPool(process).imap_unordered(image_downloader, images_url)
for r in results:
    print(r)

Sekali lagi, anda mungkin akan berkata, “Semuanya baik dan bagus, tetapi saya mahu mula memuat turun senarai A saya 1000 imej. Saya tidak mahu menyalin dan menampal semua kod ini dan cuba memikirkan cara untuk menggabungkan semuanya."

def run_downloader(process:int, images_url:list):
    """
    Inputs:
        process: (int) number of process to run
        images_url:(list) list of images url
    """
    print(f'MESSAGE: Running {process} process')
    results = ThreadPool(process).imap_unordered(image_downloader, images_url)
    for r in results:
        print(r)

Ini adalah skrip lengkap. Ia melakukan perkara berikut:

Ambil sebagai input fail teks senarai imej dan nombor proses

• Muat turunnya pada kelajuan yang anda mahukan

• Cetak jumlah masa untuk memuat turun fail

• Terdapat juga beberapa fungsi bagus yang membantu kami membaca nama fail dan mengendalikan ralat serta perkara lain
Skrip Penuh

Simpan ke fail Bagaimana untuk memuat turun gambar serentak dengan berbilang benang dalam Bagaimana untuk memuat turun gambar serentak dengan berbilang benang dalam Python dan jalankannya.

# -*- coding: utf-8 -*-
import io
import random
import shutil
import sys
from multiprocessing.pool import ThreadPool
import pathlib

import requests
from PIL import Image
import time

start = time.time()

def get_download_location():
    try:
        url_input = sys.argv[1]
    except IndexError:
        print('ERROR: Please provide the txt file\n$python image_downloader.py cats.txt')
    name = url_input.split('.')[0]
    pathlib.Path(name).mkdir(parents=True, exist_ok=True)
    return name

def get_urls():
    """
    通过读取终端中作为参数提供的 txt 文件返回 url 列表
    """
    try:
        url_input = sys.argv[1]
    except IndexError:
        print('ERROR: Please provide the txt file\n Example \n\n$python image_downloader.py dogs.txt \n\n')
        sys.exit()
    with open(url_input, 'r') as f:
        images_url = f.read().splitlines()

    print('{} Images detected'.format(len(images_url)))
    return images_url

def image_downloader(img_url: str):
    """
    输入选项:
    参数: img_url  str (Image url)
    尝试下载图像 url 并使用标题中提供的名称。否则它会随机选择一个名字
    """
    print(f'Downloading: {img_url}')
    res = requests.get(img_url, stream=True)
    count = 1
    while res.status_code != 200 and count <p>Berikut ialah pautan ke repositori GitHub. </p><pre class="brush:php;toolbar:false">python3 image_downloader.py cats.txt

Penggunaan

Ini akan membaca semua URL dalam fail teks dan memuat turunnya ke folder dengan nama yang sama dengan nama fail.

python3 image_downloader.py <filename_with_urls_seperated_by_newline.txt> <num_of_process></num_of_process></filename_with_urls_seperated_by_newline.txt>

adalah pilihan (secara lalai ia menggunakan 10 proses).

num_of_processContoh

python3 image_downloader.py cats.txt

Saya ingin memberi nasihat tentang cara untuk menambah baik ini lanjut sebarang tindak balas.

Alamat asal bahasa Inggeris: https://betterprogramming.pub/building-an-imagedownloader-with-multiprocessing-in-python-44aee36e0424

[Cadangan berkaitan:

Tutorial video Bagaimana untuk memuat turun gambar serentak dengan berbilang benang dalam Bagaimana untuk memuat turun gambar serentak dengan berbilang benang dalam Python3

]

Atas ialah kandungan terperinci Bagaimana untuk memuat turun gambar serentak dengan berbilang benang dalam Python. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!