Bagaimana Mengesan Penyiapan Muatan Halaman dengan Cekap dengan Selenium untuk Mengikis Web?

Cara Mengesan Penyiapan Pemuatan Halaman untuk Meningkatkan Kecekapan Mengikis Web dengan Selenium WebDriver untuk Python

Untuk mengoptimumkan pengikisan web untuk halaman yang melaksanakan penatalan tak terhingga , adalah penting untuk mengesan penyiapan pemuatan halaman selepas setiap tatal ke bawah untuk mencetuskan yang berikutnya skrol. Ini memastikan kecekapan masa dengan mengelakkan tempoh menunggu yang tidak perlu.

Menggunakan WebDriverWait untuk Mengesan Kehadiran Elemen Tertentu

Dalam kes khusus anda, kelas WebDriverWait daripada Selenium WebDriver membolehkan anda menunggu untuk elemen tertentu muncul pada halaman selepas setiap tatal ke bawah. Begini caranya:

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

delay = 3  # Seconds to wait
element_id = 'IdOfMyElement'  # Element to wait for

try:
    element = WebDriverWait(driver, delay).until(EC.presence_of_element_located((By.ID, element_id)))
    print("Page has loaded the new contents!")
except TimeoutException:
    print("Loading took too long!")

Dengan menunggu kehadiran elemen tertentu, anda boleh memastikan bahawa halaman telah selesai memuatkan kandungan baharu sebelum mencetuskan tatal seterusnya ke bawah.

Pertimbangan : Gelagat Lalai Webdriver

Adalah penting untuk ambil perhatian bahawa WebDriver akan menunggu untuk halaman dimuatkan secara lalai selepas menggunakan kaedah .get(). Walau bagaimanapun, tingkah laku lalai ini tidak meliputi menunggu untuk memuatkan di dalam bingkai atau untuk permintaan AJAX. Kelas WebDriverWait menyediakan fleksibiliti untuk menentukan syarat tertentu untuk menunggu, seperti yang ditunjukkan dalam contoh di atas.

Atas ialah kandungan terperinci Bagaimana Mengesan Penyiapan Muatan Halaman dengan Cekap dengan Selenium untuk Mengikis Web?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!