如何使用 DOM 操作构建一个强大的 PHP 爬虫，从具有多个链接的网页中提取数据？

使用 PHP 爬行：综合指南

要从包含多个链接的网页中提取数据，PHP 提供了各种可能性。一种方法涉及利用正则表达式，但必须避免仅依赖它们进行 HTML 解析。

基于 DOM 的爬虫实现

Tatu 的基于 DOM 的爬虫提供了一种可靠的替代方案。这是一个改进的版本：

function crawl_page($url, $depth = 5)
{
    static $seen = array();
    if (isset($seen[$url]) || $depth === 0) {
        return;
    }

    $seen[$url] = true;

    $dom = new DOMDocument('1.0');
    @$dom->loadHTMLFile($url);

    $anchors = $dom->getElementsByTagName('a');
    foreach ($anchors as $element) {
        $path = $element->getAttribute('href');
        if (0 !== strpos($path, 'http')) {
            $path = '/' . ltrim($path, '/');
            if (extension_loaded('http')) {
                $href = http_build_url($url, array('path' => $path));
            } else {
                $parts = parse_url($url);
                $href = $parts['scheme'] . '://';
                if (isset($parts['user']) && isset($parts['pass'])) {
                    $href .= $parts['user'] . ':' . $parts['pass'] . '@';
                }
                $href .= $parts['host'];
                if (isset($parts['port'])) {
                    $href .= ':' . $parts['port'];
                }
                $href .= dirname($parts['path'], 1).$path;
            }
        }
        crawl_page($href, $depth - 1);
    }
    echo "URL:", $url, PHP_EOL, "CONTENT:", PHP_EOL, $dom->saveHTML(), PHP_EOL, PHP_EOL;
}

这个改进的版本考虑了各种 url 场景，包括 https、用户、通行证和端口。

增强

George指出了原始版本中的一个bug，它将相对url附加到url路径的末尾而不是覆盖 它。因此，这个问题已得到解决，确保相对 url 的行为符合预期。

保存输出

爬虫的修改版本将其输出回显到 STDOUT，允许您方便地将其重定向到您选择的文件。

通过合并这些增强功能，这个基于 DOM 的爬虫提供了一个强大的解决方案使用 PHP 从具有多个链接的网页中提取数据。

以上是如何使用 DOM 操作构建一个强大的 PHP 爬虫，从具有多个链接的网页中提取数据？的详细内容。更多信息请关注PHP中文网其他相关文章！