Rumah > Artikel > pembangunan bahagian belakang > Gunakan sambungan Python dan WebDriver untuk menatal dan memuatkan lebih banyak data secara automatik pada halaman web
Gunakan sambungan Python dan WebDriver untuk menatal dan memuatkan lebih banyak data secara automatik pada halaman web
Pengenalan:
Dalam pembangunan web, kadangkala kita menghadapi situasi di mana kita perlu memuatkan lebih banyak data. Sebagai contoh, kami ingin mendapatkan semua komen atau senarai berita pada halaman web. Dengan cara tradisional, kita perlu menurunkan halaman web secara manual atau klik butang "Muat Lagi" untuk memuatkan lebih banyak data. Walau bagaimanapun, dengan menggunakan sambungan Python dan WebDriver, kami boleh menatal halaman web secara automatik untuk memuatkan lebih banyak data dan meningkatkan kecekapan kerja kami.
Langkah:
Import perpustakaan dan tetapkan pemacu penyemak imbas
Dalam skrip Python, anda perlu mengimport perpustakaan selenium terlebih dahulu dan tetapkan laluan kepada pemacu penyemak imbas. Mengambil ChromeDriver sebagai contoh, anda boleh menyambung ke penyemak imbas Chrome melalui kod berikut:
from selenium import webdriver driver = webdriver.Chrome('/path/to/chromedriver')
Buka halaman web
Gunakan kaedah get pemacu web untuk membuka halaman web yang diperlukan. Sebagai contoh, kami membuka halaman web berita:
url = 'https://news.example.com' driver.get(url)
Auto tatal memuatkan halaman web
Untuk memuatkan lebih banyak data, kami perlu menatal halaman web secara automatik. Gunakan kaedah execute_script pemacu web untuk mensimulasikan skrip JavaScript Dalam kes ini, kaedah window.scrollTo() digunakan untuk melaksanakan penatalan:
driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")
document.body.scrollHeight
dalam kod di atas bermaksud menatal ke. bahagian bawah halaman. document.body.scrollHeight
表示滚动到页面的底部。
等待加载完成
在滚动网页加载更多数据后,我们需要等待页面加载完成,以便获取新加载的数据。使用webdriver的implicitly_wait方法设置等待时间:
driver.implicitly_wait(10) # 设置等待时间为10秒
获取数据
在等待加载完成后,可以使用beautifulsoup库解析网页并提取所需的数据。例如,我们可以使用以下代码获取新加载的评论:
from bs4 import BeautifulSoup soup = BeautifulSoup(driver.page_source, 'html.parser') comments = soup.find_all('div', class_='comment')
上述代码中的comment
Selepas menatal halaman web untuk memuatkan lebih banyak data, kita perlu menunggu halaman dimuatkan selesai untuk mendapatkan data yang baru dimuatkan. Gunakan kaedah implicitly_wait webdriver untuk menetapkan masa menunggu:
while True: driver.execute_script("window.scrollTo(0, document.body.scrollHeight)") driver.implicitly_wait(10) soup = BeautifulSoup(driver.page_source, 'html.parser') comments = soup.find_all('div', class_='comment') if len(comments) >= 100: # 假设需要加载的评论数为100 breakDapatkan data
Atas ialah kandungan terperinci Gunakan sambungan Python dan WebDriver untuk menatal dan memuatkan lebih banyak data secara automatik pada halaman web. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!