如何使用 Node.js 抓取動態網頁內容？

使用Node.js 抓取包含動態內容的頁面

對於網頁抓取工具來說，動態內容可能會帶來挑戰。一個這樣的範例是在初始頁面載入之後建立頁面的元素。在這種情況下，標準的抓取方法可能不夠。

在 Node.js 中使用 Cheerio 時請考慮這個問題。以下程式碼嘗試從頁面中抓取元素，但當發生Cheerio 載入時，動態元素不存在：

var request = require('request');
var cheerio = require('cheerio');
var url = "http://www.bdtong.co.kr/index.php?c_category=C02";

request(url, function (err, res, html) {
    var $ = cheerio.load(html);
    $('.listMain > li').each(function () {
        console.log($(this).find('a').attr('href'));
    });
});

此程式碼通常會傳回空響應，因為元素尚未存在於頁面中Cheerio 載入時的HTML 。那麼，我們要如何使用 Node.js 檢索這些元素呢？

解決方案：利用 PhantomJS

為了處理動態內容，我們可以使用 PhantomJS，一個無頭 Web 瀏覽器，可以執行JavaScript。 PhantomJS 允許我們模擬瀏覽器與頁面互動並在元素可用時檢索它們。以下是使用 PhantomJS 的範例：

var phantom = require('phantom');

phantom.create(function (ph) {
  ph.createPage(function (page) {
    var url = "http://www.bdtong.co.kr/index.php?c_category=C02";
    page.open(url, function() {
      page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() {
        page.evaluate(function() {
          $('.listMain > li').each(function () {
            console.log($(this).find('a').attr('href'));
          });
        }, function(){
          ph.exit()
        });
      });
    });
  });
});

在此程式碼中，我們首先使用 PhantomJS 將 jQuery 包含到頁面中，從而允許我們動態地與元素互動。然後，我們評估將元素的 href 屬性記錄到控制台的 JavaScript 程式碼。

以上是如何使用 Node.js 抓取動態網頁內容？的詳細內容。更多資訊請關注PHP中文網其他相關文章！