PHP und Selenium: Wie kann ich Daten von verschiedenen Webseiten extrahieren?

Mit der Entwicklung des Internets sind Webcrawler zweifellos zu einem wichtigen Mittel zur Informationsbeschaffung geworden. Wenn wir mit mehreren verschiedenen Websites konfrontiert sind und einige Informationen sammeln müssen, müssen wir uns auf das Studium der Seitenstruktur jeder Website konzentrieren. Gibt es also eine allgemeine Methode zum Crawlen von Daten auf verschiedenen Websites? Die Antwort lautet: Ja. In diesem Artikel erfahren Sie, wie Sie mit PHP und Selenium Daten auf verschiedenen Webseiten crawlen.

Was ist Selen?

Selenium gilt als einer der Standards in der Web-Automatisierungstest-Community. Es kann Benutzervorgänge im Browser simulieren, einschließlich Eingaben, Klicks, Auswahl von Dropdown-Feldern, Hochladen von Dateien usw. Wir können Selenium verwenden, um automatisierte Tests von Webseiten zu implementieren, aber hier verwenden wir Selenium zum Crawlen von Daten.

Warum Selen verwenden?

Beim Scraping von Daten stoßen wir häufig auf einige Seiten, auf die über einfache Curl- oder file_get_contents-Anfragen zugegriffen werden kann. Mit der Entwicklung der Webtechnologie haben jedoch viele Websites Front-End-Frameworks wie Ajax, Vue und React übernommen, und die Daten der Seite werden asynchron über JavaScript abgerufen. In diesem Fall müssen wir den Betrieb des Browsers simulieren, um das vollständige Rendering-Ergebnis der Seite zu erhalten. Um Crawler zu verhindern, verwenden einige Websites außerdem Bestätigungscodes und andere Mittel zur Überprüfung. Zu diesem Zeitpunkt müssen wir auch Selenium verwenden, um manuelle Vorgänge zu simulieren, bevor wir mit der Datenerfassung fortfahren können.

Grundlegender Prozess der Verwendung von PHP und Selenium zur Datenerfassung

Der erste Schritt ist die Installation von Selenium

Die Installation von Selenium ist sehr einfach. Verwenden Sie einfach Composer im Terminal, um den folgenden Befehl auszuführen:

composer require php-webdriver/webdriver

Nachdem die Installation abgeschlossen ist, Wir müssen den Treiber für den entsprechenden Browser herunterladen. Am Beispiel von Chrome müssen Sie den Chromedriver herunterladen und den heruntergeladenen Treiber an dem Speicherort ablegen, auf den die PATH-Variable verweist.

Zweiter Schritt: Selenium starten

Das Starten von Selenium ist ganz einfach. Geben Sie einfach den folgenden Befehl in das Terminal ein:

java -jar path/to/selenium-server-standalone-3.141.59.jar

Unter anderem ist path/to/ der Installationspfad von Selenium.

Der dritte Schritt besteht darin, Selenium zur Implementierung der Datenerfassung zu verwenden.

Mit Selenium und dem Browsertreiber können wir PHP direkt verwenden, um die API von Selenium aufzurufen, um automatisierte Website-Tests und Datenerfassung zu implementieren. Nehmen wir als Beispiel das Crawlen der TOP250-Filminformationen in Douban Movies:

1. Öffnen Sie den Browser und geben Sie die URL ein

use FacebookWebDriverRemoteDesiredCapabilities;
use FacebookWebDriverRemoteRemoteWebDriver;

$host = 'http://localhost:4444/wd/hub'; // Selenium本地服务地址
$capabilities = DesiredCapabilities::chrome();
$webDriver = RemoteWebDriver::create($host, $capabilities);

$url = 'https://movie.douban.com/top250';
$webDriver->get($url);

2. Klicken Sie auf die nächste Seite, um weitere Filminformationen zu erhalten

do {
    // 获取电影列表并输出
    $list = $webDriver->findElements(WebDriverBy::cssSelector('.grid_view .item'));
    foreach ($list as $item) {
        $name = $item->findElement(WebDriverBy::cssSelector('.title'))->getText();
        $directors = $item->findElement(WebDriverBy::cssSelector('.bd p:first-child'))->getText();
        $rate = $item->findElement(WebDriverBy::cssSelector('.rating_num'))->getText();
        echo "$name $directors $rate
";
    }

    // 点击下一页
    $nextPageBtn = $webDriver->findElement(WebDriverBy::cssSelector('.paginator .next a'));
    $nextPageBtnClassName = $nextPageBtn->getAttribute('class');
    if (strpos($nextPageBtnClassName, 'disabled') === false) {
        $nextPageBtn->click();
    } else {
        break;
    }

    // 等待新页面加载完成
    $webDriver->wait()->until(WebDriverExpectedCondition::urlContains(intval($page + 1)));
} while (true);

3. Schließen Sie den Browser

$webDriver->quit();

Mit dem obigen Code können wir ganz einfach relevante Informationen zu den TOP250 Douban-Filmen erhalten.

Zusammenfassung

In diesem Artikel wird die Verwendung von PHP und Selenium zum Crawlen von Daten auf verschiedenen Websites vorgestellt und die spezifischen Implementierungsschritte anhand von Beispielen ausführlich erläutert. Durch die Verwendung von Selenium können wir Daten einfacher abrufen und die erforderlichen Informationen schneller erhalten, was für einige Crawling-Aufgaben, die eine hohe Anpassung erfordern, sehr nützlich ist.

Das obige ist der detaillierte Inhalt vonPHP und Selenium: Wie kann ich Daten von verschiedenen Webseiten extrahieren?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!