Verwenden Sie die Crawler-Komponente, um HTML in Laravel zu analysieren

In diesem Artikel wird hauptsächlich die Verwendung der Crawler-Komponente von Symfony zum Analysieren von HTML in Laravel vorgestellt.

Crawlers vollständiger Name ist DomCrawler, eine Komponente des Symfony-Frameworks. Was empörend ist, ist, dass DomCrawler keine chinesische Dokumentation hat und Symfony diesen Teil nicht übersetzt hat, sodass die Entwicklung mit DomCrawler nur Stück für Stück erkundet werden kann. Jetzt werde ich die Erfahrungen im Verwendungsprozess zusammenfassen.

Zuerst installieren Sie

composer require symfony/dom-crawler
composer require symfony/css-selector

css-seelctor ist ein CSS-Selektor. Einige Funktionen werden bei der Auswahl von Knoten verwendet css. Das im

-Handbuch verwendete Beispiel ist

use Symfony\Component\DomCrawler\Crawler;
$html = <<<‘HTML‘
Hello World!
Hello Crawler!
HTML;
$crawler = new Crawler($html);
foreach ($crawler as $domElement)
{
var_dump($domElement->nodeName);
}

und das gedruckte Ergebnis ist

string ‘html‘ (length=4)

Da der Knotenname dieses HTML-Codes html ist und mein Englisch nicht gut ist, dachte ich, das Programm sei falsch, als ich anfing, es zu verwenden. . .

Wenn im tatsächlichen Verwendungsprozess der neue Crawler ($html) verstümmelte Zeichen aufweist, sollte dies mit der Seitencodierung zusammenhängen. Sie können also die folgende Methode verwenden: Initialisieren Sie zuerst den Crawler und fügen Sie dann den Knoten

$crawler = new Crawler();
$crawler->addHtmlContent($html);

Der zweite Parameter von addHtmlContent ist der Zeichensatz und der Standardwert ist utf-8.

Weitere Beispiele finden Sie in der offiziellen Dokumentation: http://symfony.com/doc/current/components/dom_crawler.html

Notieren Sie die Verwendungen, die Sie bei der Arbeit ausprobieren

filterXPath(string $xpath) Methode, laut Handbuch ist der Parameter dieser Methode $xpath, und p, p und andere Blöcke werden häufig verwendet.

echo $crawler->filterXPath(‘//body/p‘)->text();
echo $crawler->filterXPath(‘//body/p‘)->last()->text();

Die Ausgabe ist der Text des ersten und nächsten p-Tag-Blocks

var_dump($crawler->filterXPath(‘//body‘)->html());

Der Ausgabe Der HTML-

foreach ($crawler->filterXPath(‘//body/p‘) as $i => $node) {
$c = new Crawler($node);
echo $c->filter(‘p‘)->text();
}

filterXPath im Körper erhält ein Array von DOMElement-Blöcken. Jeder DOMElement-Block kann ein neues Crawler-Objekt verwenden, um mit der Analyse fortzufahren

$nodeValues =
$crawler->filterXPath(‘//body/p‘)->each(function (Crawler $node, $i) {
return $node->text();
});

Crawler stellt jede Schleife bereit und verwendet Abschlussfunktionen, um den Code zu vereinfachen. Bitte beachten Sie jedoch, dass diese Art des Schreibens von $nodeValues ​​zu einem Array führt, das eine weitere Verarbeitung erfordert.

Andere Verwendungen

echo $crawler->filterXPath(‘//body/p‘)->attr(‘class‘);

können den Wert des Klassenattributs erhalten, das dem ersten entspricht p-Tag „Nachricht“

$crawler->filterXPath(‘//p[@class="样式"]‘)->filter(‘a‘)->attr(‘href‘);
$crawler->filterXPath(‘//p[@class="样式"]‘)->filter(‘a>img‘)->extract(array(‘alt‘, ‘href‘))

Die oben genannten Methoden zum Abrufen von Tag-Attributen

filter unterscheidet sich von filterXPath Im Handbuch heißt es CSS-Selektor, Ich verstehe nicht, dass es sich um ein im XPath-Knoten enthaltenes Element wie p handelt. Die spezifische Situation muss in der tatsächlichen Entwicklung ausprobiert werden.

Generell habe ich das Gefühl, dass DomCrawler einfacher zu verwenden ist als einfaches HTML-Dom, vielleicht liegt es daran, dass ich es einfacher verwende.

Die oben genannten sind nur die Grundfunktionen von Crawler. Weitere Informationen zur Verwendung finden Sie in den Funktionen im Crawler-Teil des Symfony-Handbuchs

http://api.symfony.com/3.2 /Symfony/Component/DomCrawler/Crawler .html

Das Hauptproblem bei Crawler besteht darin, dass es zu wenige Anwendungsbeispiele im Funktionshandbuch gibt, sodass Sie es nur in der tatsächlichen Verwendung erkunden können. . . .

Symfonys Dokumentation zu DomCrawler, die einige Beispiele enthält

http://symfony.com/doc/current/components/dom_crawler.html

Das obige ist der detaillierte Inhalt vonVerwenden Sie die Crawler-Komponente, um HTML in Laravel zu analysieren. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!