在laravel使用Crawler元件對HTML進行分析

這篇文章主要介紹了在laravel中使用Symfony的Crawler元件分析HTML,需要的朋友可以參考下

Crawler全名是DomCrawler，是Symfony框架的元件。令人髮指的是DomCrawler的沒有中文文檔，Symfony也沒有​​翻譯該部分，所以使用DomCrawler開發只能一點一點摸索，現將使用過程中的經驗總結。

首先是安裝

composer require symfony/dom-crawler
composer require symfony/css-selector

css-seelctor 是css選擇器，用css選擇節點時有些函式會用到

手冊裡面使用的例子是

use Symfony\Component\DomCrawler\Crawler;
$html = <<<‘HTML‘
Hello World!
Hello Crawler!
HTML;
$crawler = new Crawler($html);
foreach ($crawler as $domElement)
{
var_dump($domElement->nodeName);
}

列印的結果是

string ‘html‘ (length=4)

因為這段html程式碼的nodeName就是html，英文不好，開始使用的時候還以為程式錯了。 。 。

實際使用過程，如果new Crawler($html)會出現亂碼問題，應該是跟頁面編碼有關，所以可以採用下面的方式，先初始化crawler，然後再加入node

$crawler = new Crawler();
$crawler->addHtmlContent($html);

addHtmlContent的第二個參數是charset，預設是utf-8。

其他範例可以參考官方文檔，http://symfony.com/doc/current/components/dom_crawler.html

記錄工作中一點點試出來的用法

filterXPath(string $xpath) 方法，依照手冊上的說法，該方法的參數是$xpath，常用的是p，p等塊。

echo $crawler->filterXPath(‘//body/p‘)->text();
echo $crawler->filterXPath(‘//body/p‘)->last()->text();

輸出是第一個和下一個p標籤區塊的文字

var_dump($crawler->filterXPath(‘//body‘)->html());

輸出body內的html

foreach ($crawler->filterXPath(‘//body/p‘) as $i => $node) {
$c = new Crawler($node);
echo $c->filter(‘p‘)->text();
}

filterXPath獲得的是DOMElement區塊的數組，每個DOMElement區塊可以使用新的crawler物件繼續解析

#

$nodeValues =
$crawler->filterXPath(‘//body/p‘)->each(function (Crawler $node, $i) {
return $node->text();
});

crawler提供了each循環，使用閉包函數簡化程式碼，不過注意的是，這種寫法$nodeValues得到的是數組，需要進一步處理。

其他用法

echo $crawler->filterXPath(‘//body/p‘)->attr(‘class‘);

可以取得第一個p標籤對應class屬性的值「message ”

$crawler->filterXPath(‘//p[@class="样式"]‘)->filter(‘a‘)->attr(‘href‘);
$crawler->filterXPath(‘//p[@class="样式"]‘)->filter(‘a>img‘)->extract(array(‘alt‘, ‘href‘))

以上是獲得標籤屬性的一些方法

filter和filterXPath不同，手冊上寫的是css選擇器，不太明白，我理解是p這種XPath節點包含的元素，具體情況還需要在實際開發中嘗試。

總的來說感覺DomCrawler要比simple html dom好用一些，可能是我用的比較淺顯。

上述只是Crawler的基本功能，更過用法請查閱symfony手冊關於Crawler部分的函數

http://api.symfony.com/3.2/Symfony/Component/DomCrawler/Crawler .html

Crawler主要問題還是範例太少，函數手冊裡面沒有使用實例，只能在實際使用中去摸索。 。 。 。

symfony關於DomCrawler的文檔，裡面有少數例子

http://symfony.com/doc/current/components/dom_crawler.html

以上是在laravel使用Crawler元件對HTML進行分析的詳細內容。更多資訊請關注PHP中文網其他相關文章！