如何使用 Node.js 和 PhantomJS 抓取动态网站内容？

使用 Node.js 抓取动态内容

抓取网站时，遇到动态内容可能无法立即可见的情况并不少见。页面加载。要有效地从这些页面中提取数据，您需要了解如何创建此类内容。

Cheerio 示例

考虑以下代码片段：

var request = require('request');
var cheerio = require('cheerio');
var url = "http://www.bdtong.co.kr/index.php?c_category=C02";

request(url, function (err, res, html) {
    var $ = cheerio.load(html);
    $('.listMain > li').each(function () {
        console.log($(this).find('a').attr('href'));
    });
});

此代码尝试使用 Cheerio 抓取网站，但它返回空结果，因为您要提取的元素(

) 在页面加载后动态创建。

解决方案：使用 PhantomJS

要抓取动态内容，您需要一个可以执行 JavaScript 和模拟浏览器。这就是 PhantomJS 的用武之地。PhantomJS 是一个无头浏览器引擎，允许您执行 JavaScript 命令并渲染网页。

以下是如何使用 PhantomJS 修改代码：

var phantom = require('phantom');

phantom.create(function (ph) {
  ph.createPage(function (page) {
    var url = "http://www.bdtong.co.kr/index.php?c_category=C02";
    page.open(url, function() {
      page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() {
        page.evaluate(function() {
          $('.listMain > li').each(function () {
            console.log($(this).find('a').attr('href'));
          });
        }, function(){
          ph.exit()
        });
      });
    });
  });
});

通过包含 PhantomJS，您现在可以在页面上执行 JavaScript 并操作 DOM 来提取您需要的动态内容。

以上是如何使用 Node.js 和 PhantomJS 抓取动态网站内容？的详细内容。更多信息请关注PHP中文网其他相关文章！