PHP和Selenium：如何在不同的網頁抓取資料？

隨著網路的發展，web爬蟲無疑成為了獲取資訊的重要手段。當我們面對多個不同的網站，需要收集其中某些資訊的時候，我們必須將精力集中在研究各個網站的頁面結構上。那麼有沒有一種通用的方法，可以在不同的網站上抓取資料呢？答案是肯定的，本篇文章將介紹如何使用PHP和Selenium在不同的網頁上進行資料擷取。

Selenium是什麼？

Selenium可以說是Web自動化測試界的標準之一，它可以模擬使用者在瀏覽器中的操作，包括輸入、點擊、下拉方塊選擇、上傳檔案等。我們可以利用Selenium實現網頁的自動化測試，但在這裡，我們會使用Selenium來進行資料的抓取。

為什麼要使用Selenium？

在進行資料抓取的時候，我們常常會遇到一些可以透過簡單的curl或file_get_contents請求就可以存取的頁面。但隨著Web技術的發展，許多網站已經採用了Ajax、Vue、React等前端框架，而頁面的資料是透過JavaScript非同步取得的。對於這種情況，我們需要模擬瀏覽器的操作，才能得到頁面完整的渲染結果。此外，某些網站為了防止爬蟲，會使用驗證碼等手段來驗證，這時候我們也需要使用Selenium來模擬人工操作，才能繼續進行資料的抓取。

使用PHP和Selenium抓取資料的基本流程

第一步，安裝Selenium

Selenium的安裝十分簡單，只需要在終端中使用Composer執行以下命令即可：

composer require php-webdriver/webdriver

安裝完成後，我們需要下載對應瀏覽器的驅動，以Chrome為例，你需要下載chromedriver, 將下載好的驅動放到PATH 變數指向的位置。

第二步，啟動Selenium

啟動Selenium很簡單，只需要在終端機中輸入以下指令：

java -jar path/to/selenium-server-standalone-3.141.59.jar

其中，path/to/為Selenium的安裝路徑。

第三步，使用Selenium實現資料抓取

有了Selenium和瀏覽器驅動，我們就可以直接使用PHP來呼叫Selenium的API實現網站自動化測試和資料抓取了。下面我們以爬取豆瓣電影中的TOP250電影資訊為例進行介紹：

1. 開啟瀏覽器並輸入URL

use FacebookWebDriverRemoteDesiredCapabilities;
use FacebookWebDriverRemoteRemoteWebDriver;

$host = 'http://localhost:4444/wd/hub'; // Selenium本地服务地址
$capabilities = DesiredCapabilities::chrome();
$webDriver = RemoteWebDriver::create($host, $capabilities);

$url = 'https://movie.douban.com/top250';
$webDriver->get($url);

2. 點擊下一頁繼續取得電影資訊

do {
    // 获取电影列表并输出
    $list = $webDriver->findElements(WebDriverBy::cssSelector('.grid_view .item'));
    foreach ($list as $item) {
        $name = $item->findElement(WebDriverBy::cssSelector('.title'))->getText();
        $directors = $item->findElement(WebDriverBy::cssSelector('.bd p:first-child'))->getText();
        $rate = $item->findElement(WebDriverBy::cssSelector('.rating_num'))->getText();
        echo "$name $directors $rate
";
    }

    // 点击下一页
    $nextPageBtn = $webDriver->findElement(WebDriverBy::cssSelector('.paginator .next a'));
    $nextPageBtnClassName = $nextPageBtn->getAttribute('class');
    if (strpos($nextPageBtnClassName, 'disabled') === false) {
        $nextPageBtn->click();
    } else {
        break;
    }

    // 等待新页面加载完成
    $webDriver->wait()->until(WebDriverExpectedCondition::urlContains(intval($page + 1)));
} while (true);

3. 關閉瀏覽器

$webDriver->quit();

透過以上程式碼，我們就可以輕鬆地取得豆瓣電影TOP250的相關資訊了。

總結

本文介紹如何使用PHP和Selenium在不同的網站上抓取資料的方法，並且結合實例詳細地講解了具體實作步驟。使用Selenium可以讓我們更輕鬆地實現數據的獲取，從而更快捷地獲取所需的信息，對於一些需要高度定制的抓取任務非常有用。

以上是PHP和Selenium：如何在不同的網頁抓取資料？的詳細內容。更多資訊請關注PHP中文網其他相關文章！