Menggunakan PHP dan Selenium untuk melaksanakan pengumpulan data perangkak

Dengan perkembangan teknologi Internet yang berterusan, data telah menjadi sumber yang sangat berharga Semakin banyak syarikat mula memberi perhatian kepada nilai data dan meningkatkan daya saing mereka melalui perlombongan dan analisis data. Dalam proses ini, pengumpulan data menjadi langkah pertama dalam analisis data.

Pada masa ini, teknologi perangkak ialah kaedah pengumpulan data yang sangat biasa. Teknologi crawler boleh digunakan untuk mendapatkan pelbagai data secara berkesan di Internet, seperti maklumat produk, siaran forum, artikel berita, dsb. di beberapa tapak web. Dalam artikel ini, kami akan memperkenalkan cara menggunakan PHP dan Selenium untuk melaksanakan pengumpulan data perangkak.

1. Apakah itu Selenium?

Selenium ialah alat untuk menguji aplikasi web Ia menyokong berbilang penyemak imbas, termasuk Chrome, Firefox, IE, dll. Selenium boleh mengautomasikan operasi penyemak imbas di Web, seperti mengklik pautan, memasukkan data ke dalam kotak teks, menyerahkan borang dan banyak lagi.

Dalam pengumpulan data, Selenium boleh digunakan untuk mensimulasikan operasi penyemak imbas pada halaman web, dengan itu mencapai pengumpulan data. Secara umumnya, langkah-langkah untuk mengumpul data adalah seperti berikut:

1. Gunakan Selenium untuk membuka halaman web yang akan dikumpul
2. Lakukan operasi pada halaman web, seperti memasukkan data ke dalam kotak teks , mengklik butang, dll. Tunggu
3. untuk mendapatkan data yang diperlukan

2. Gunakan PHP untuk memanggil Selenium

Selenium sendiri ditulis dalam Java, jadi kami perlu menulis skrip Selenium dalam Java Kemudian memanggilnya menggunakan PHP.

1. Pasang Java dan Selenium

Mula-mula, kita perlu memasang Java dan Selenium. Di sini, kami mengambil Ubuntu sebagai contoh, cuma laksanakan arahan berikut:

sudo apt-get install default-jre

sudo apt-get install default-jdk

Muat turun Pustaka Java Selenium diletakkan dalam direktori projek anda.

2. Tulis skrip Selenium

Dalam direktori projek, cipta fail bernama selenium.php, dan kemudian tulis skrip Java di dalamnya, seperti kod berikut:

import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;

public class SeleniumDemo {
 public static void main(String[] args) {
  System.setProperty("webdriver.chrome.driver", "/path/to/chromedriver"); // chromedriver的路径
  WebDriver driver = new ChromeDriver();
  driver.get("http://www.baidu.com"); // 要访问的网站
  String title = driver.getTitle(); // 获取网页标题
  System.out.println(title);
  driver.quit(); // 退出浏览器
 }
}

Skrip ini akan membuka penyemak imbas Chrome dan melawati halaman utama Baidu, kemudian mendapatkan tajuk halaman web dan mengeluarkannya. Anda perlu menggantikan "/path/to/chromedriver" dengan laluan sebenar pada mesin anda.

3. Memanggil Selenium

Dalam fail selenium.php, gunakan fungsi exec() untuk memanggil skrip Java Kodnya adalah seperti berikut:

rreee

Di sini, fungsi exec() PHP kami digunakan untuk memanggil skrip Java dan "/path/to/selenium-java.jar" perlu diganti dengan laluan sebenar pada mesin anda.

Selepas melaksanakan kod di atas, anda sepatutnya dapat melihat output tajuk halaman web Baidu pada skrin.

3. Gunakan Selenium untuk melaksanakan pengumpulan data

Dengan asas Selenium, kami boleh mula melaksanakan pengumpulan data. Mengambil koleksi data produk Jingdong Mall sebagai contoh, berikut ialah demonstrasi cara menggunakan Selenium untuk melaksanakannya.

1. Buka halaman web

Mula-mula, kita perlu membuka laman utama JD.com dan mencari produk yang hendak dikumpul. Semasa proses ini, anda perlu memberi perhatian kepada masa memuatkan halaman web Menggunakan fungsi sleep() boleh membuat program berhenti seketika untuk satu tempoh masa dan menunggu halaman web dimuatkan sepenuhnya.

<?php
$output = array();
exec("java -cp .:/path/to/selenium-java.jar SeleniumDemo 2>&1", $output);
$title = $output[0];
echo $title;
?>

2. Dapatkan data produk

Seterusnya, kita perlu mendapatkan data produk dalam hasil carian. Dalam halaman web JD.com, data produk diletakkan dalam div dengan kelas "gl-item". Kita boleh menggunakan findElements() untuk mendapatkan semua elemen div yang layak dan menghuraikan kandungannya satu demi satu.

<?php
$output = array();
exec("java -cp .:/path/to/selenium-java.jar JingDongDemo 2>&1", $output);
echo $output[0]; // 输出采集到的商品数据
?>

// JingDongDemo.java

import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.firefox.FirefoxDriver;
import java.util.List;
import java.util.concurrent.TimeUnit;

public class JingDongDemo {

 public static void main(String[] args) {
  System.setProperty("webdriver.gecko.driver", "/path/to/geckodriver"); // geckodriver的路径
  WebDriver driver = new FirefoxDriver();
  driver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS); // 等待网页加载
  driver.get("http://www.jd.com"); // 打开网站
  driver.findElement(By.id("key")).sendKeys("Iphone 7"); // 输入要搜索的商品
  driver.findElement(By.className("button")).click(); // 单击搜索按钮
  try {
   Thread.sleep(5000); // 等待网页完全加载
  } catch (InterruptedException e) {
   e.printStackTrace();
  }
 }
}

Pada ketika ini, kami telah berjaya melaksanakan pengumpulan data perangkak menggunakan PHP dan Selenium. Sudah tentu, terdapat banyak perkara yang perlu diberi perhatian semasa proses pengumpulan data sebenar, seperti strategi anti-crawler tapak web, penyemak imbas dan keserasian versi Selenium, dsb. Saya harap artikel ini dapat memberi sedikit rujukan kepada rakan-rakan yang memerlukan pengumpulan data.

Atas ialah kandungan terperinci Menggunakan PHP dan Selenium untuk melaksanakan pengumpulan data perangkak. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!