Cara menggunakan Python untuk memuat turun imej serentak dengan berbilang benang

Bagaimana untuk memuat turun sejumlah besar imej menggunakan Cara menggunakan Cara menggunakan Python untuk memuat turun imej serentak dengan berbilang benang untuk memuat turun imej serentak dengan berbilang benang? Artikel berikut akan memperkenalkan kepada anda cara menggunakan Cara menggunakan Cara menggunakan Python untuk memuat turun imej serentak dengan berbilang benang untuk memuat turun imej serentak dengan berbilang benang untuk memuat turun imej secara serentak dengan berbilang benang, saya harap ia akan membantu anda!

Kadangkala mengambil masa berjam-jam untuk memuat turun banyak imej - mari kita betulkan

Saya faham - anda bosan menunggu program untuk memuat turun imej. Kadang-kadang saya perlu memuat turun beribu-ribu imej yang mengambil masa berjam-jam, dan anda tidak boleh terus menunggu program anda selesai memuat turun imej bodoh ini. Anda mempunyai banyak perkara penting untuk dilakukan.

Mari bina skrip pemuat turun imej ringkas yang akan membaca fail teks dan memuat turun semua imej yang disenaraikan dalam folder dengan sangat pantas.

Kesan Akhir

Inilah yang akan kita bina pada akhirnya.

Pasang kebergantungan

Mari pasang pustaka permintaan kegemaran semua orang.

pip install requests

Sekarang kita akan melihat beberapa kod asas untuk memuat turun URL tunggal dan cuba mencari nama imej secara automatik dan cara menggunakan percubaan semula.

import requests

res = requests.get(img_url, stream=True)
count = 1
while res.status_code != 200 and count <= 5:
    res = requests.get(img_url, stream=True)
    print(f&#39;Retry: {count} {img_url}&#39;)
    count += 1

Di sini kami cuba memuat turun semula imej lima kali sekiranya ia gagal. Sekarang, mari cuba cari nama imej secara automatik dan simpannya.

import more required library

import io
from PIL import Image

# lets try to find the image name
image_name = str(img_url[(img_url.rfind('/')) + 1:])
if '?' in image_name:
    image_name = image_name[:image_name.find('?')]

Penjelasan

Andaikan URL yang ingin kami muat turun ialah:

instagram.fktm7-1.fna . fbcdn.net/vp…

Nah, ini kelam kabut. Mari kita pecahkan fungsi kod untuk URL. Kita mulakan dengan menggunakan rfind untuk mencari garis miring ke hadapan terakhir (/) dan kemudian pilih semuanya selepas itu. Inilah hasilnya:

65872070_1200425330158967_6201268309743367902_n.jpg?_nc_ht=instagram.fktm7–1.fna.fbcd_n.net&_1 dan kemudian ambil apa sahaja yang ada sebelum ini.

Ini adalah nama imej akhir kami: ?

65872070_1200425330158967_6201268309743367902_n.jpg

Ini sangat sesuai untuk kes penggunaan.>

Sekarang kami telah memuat turun nama imej dan imej, kami akan menyimpannya.

Jika anda berfikir, "Bagaimanakah saya harus menggunakan kod di atas?" Ini adalah fungsi yang cantik dan semua yang kami lakukan di atas adalah diratakan. Di sini kami juga menguji sama ada jenis yang dimuat turun ialah imej, sekiranya nama imej tidak dijumpai.

i = Image.open(io.BytesIO(res.content))
i.save(image_name)

Kini, anda mungkin bertanya: "Di manakah pemproses berbilang yang dibincangkan oleh orang ini?".

def image_downloader(img_url: str):
    """
    Input:
    param: img_url  str (Image url)
    Tries to download the image url and use name provided in headers. Else it randomly picks a name
    """
    print(f'Downloading: {img_url}')
    res = requests.get(img_url, stream=True)
    count = 1
    while res.status_code != 200 and count <= 5:
        res = requests.get(img_url, stream=True)
        print(f&#39;Retry: {count} {img_url}&#39;)
        count += 1
    # checking the type for image
    if &#39;image&#39; not in res.headers.get("content-type", &#39;&#39;):
        print(&#39;ERROR: URL doesnot appear to be an image&#39;)
        return False
    # Trying to red image name from response headers
    try:
        image_name = str(img_url[(img_url.rfind(&#39;/&#39;)) + 1:])
        if &#39;?&#39; in image_name:
            image_name = image_name[:image_name.find(&#39;?&#39;)]
    except:
        image_name = str(random.randint(11111, 99999))+&#39;.jpg&#39;

    i = Image.open(io.BytesIO(res.content))
    download_location = &#39;cats&#39;
    i.save(download_location + &#39;/&#39;+image_name)
    return f&#39;Download complete: {img_url}&#39;

Mudah sahaja. Kami hanya akan menentukan kumpulan kami dan menyampaikan fungsi dan URL imej kami.

Mari letakkan ini dalam fungsi:

results = ThreadPool(process).imap_unordered(image_downloader, images_url)
for r in results:
    print(r)

Sekali lagi, anda mungkin akan berkata, “Semuanya baik dan bagus, tetapi saya mahu mula memuat turun senarai A saya 1000 imej. Saya tidak mahu menyalin dan menampal semua kod ini dan cuba memikirkan cara untuk menggabungkan semuanya."

def run_downloader(process:int, images_url:list):
    """
    Inputs:
        process: (int) number of process to run
        images_url:(list) list of images url
    """
    print(f'MESSAGE: Running {process} process')
    results = ThreadPool(process).imap_unordered(image_downloader, images_url)
    for r in results:
        print(r)

Ini adalah skrip lengkap. Ia melakukan perkara berikut:

Ambil sebagai input fail teks senarai imej dan nombor proses

• Muat turunnya pada kelajuan yang anda mahukan

• Cetak jumlah masa untuk memuat turun fail

• Terdapat juga beberapa fungsi bagus yang membantu kami membaca nama fail dan mengendalikan ralat serta perkara lain
Skrip Penuh

Simpan ke fail Cara menggunakan Cara menggunakan Python untuk memuat turun imej serentak dengan berbilang benang untuk memuat turun imej serentak dengan berbilang benang dan jalankannya.

# -*- coding: utf-8 -*-
import io
import random
import shutil
import sys
from multiprocessing.pool import ThreadPool
import pathlib

import requests
from PIL import Image
import time

start = time.time()

def get_download_location():
    try:
        url_input = sys.argv[1]
    except IndexError:
        print('ERROR: Please provide the txt file\n$python image_downloader.py cats.txt')
    name = url_input.split('.')[0]
    pathlib.Path(name).mkdir(parents=True, exist_ok=True)
    return name

def get_urls():
    """
    通过读取终端中作为参数提供的 txt 文件返回 url 列表
    """
    try:
        url_input = sys.argv[1]
    except IndexError:
        print('ERROR: Please provide the txt file\n Example \n\n$python image_downloader.py dogs.txt \n\n')
        sys.exit()
    with open(url_input, 'r') as f:
        images_url = f.read().splitlines()

    print('{} Images detected'.format(len(images_url)))
    return images_url

def image_downloader(img_url: str):
    """
    输入选项:
    参数: img_url  str (Image url)
    尝试下载图像 url 并使用标题中提供的名称。否则它会随机选择一个名字
    """
    print(f'Downloading: {img_url}')
    res = requests.get(img_url, stream=True)
    count = 1
    while res.status_code != 200 and count <= 5:
        res = requests.get(img_url, stream=True)
        print(f&#39;Retry: {count} {img_url}&#39;)
        count += 1
    # checking the type for image
    if &#39;image&#39; not in res.headers.get("content-type", &#39;&#39;):
        print(&#39;ERROR: URL doesnot appear to be an image&#39;)
        return False
    # Trying to red image name from response headers
    try:
        image_name = str(img_url[(img_url.rfind(&#39;/&#39;)) + 1:])
        if &#39;?&#39; in image_name:
            image_name = image_name[:image_name.find(&#39;?&#39;)]
    except:
        image_name = str(random.randint(11111, 99999))+&#39;.jpg&#39;

    i = Image.open(io.BytesIO(res.content))
    download_location = get_download_location()
    i.save(download_location + &#39;/&#39;+image_name)
    return f&#39;Download complete: {img_url}&#39;

def run_downloader(process:int, images_url:list):
    """
    输入项:
        process: (int) number of process to run
        images_url:(list) list of images url
    """
    print(f&#39;MESSAGE: Running {process} process&#39;)
    results = ThreadPool(process).imap_unordered(image_downloader, images_url)
    for r in results:
        print(r)

try:
    num_process = int(sys.argv[2])
except:
    num_process = 10

images_url = get_urls()
run_downloader(num_process, images_url)

end = time.time()
print(&#39;Time taken to download {}&#39;.format(len(get_urls())))
print(end - start)

Ini ialah pautan ke

repositori GitHub

python3 image_downloader.py cats.txt

.

Penggunaan

Ini akan membaca semua URL dalam fail teks dan memuat turunnya ke folder dengan nama yang sama dengan nama fail.

python3 image_downloader.py <filename_with_urls_seperated_by_newline.txt> <num_of_process>

adalah pilihan (secara lalai ia menggunakan 10 proses).

num_of_process

Contoh

python3 image_downloader.py cats.txt

Saya akan gembira untuk Sebarang maklum balas tentang cara untuk menambah baik ini lagi.

[Cadangan berkaitan:

Tutorial video Cara menggunakan Cara menggunakan Python untuk memuat turun imej serentak dengan berbilang benang untuk memuat turun imej serentak dengan berbilang benang3

]

Atas ialah kandungan terperinci Cara menggunakan Python untuk memuat turun imej serentak dengan berbilang benang. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!