如何使用 cURL 获取网页 HTML 源码并用于数据抓取-php教程-PHP中文网

如何使用 cURL 获取网页 HTML 源码并用于数据抓取

本文详解如何通过 php 的 curl 扩展正确获取目标网页的完整 html 源代码，解决“页面能显示但无法获取源码”的常见抓取问题，并提供可直接运行的示例与关键注意事项。

本文详解如何通过 php 的 curl 扩展正确获取目标网页的完整 html 源代码，解决“页面能显示但无法获取源码”的常见抓取问题，并提供可直接运行的示例与关键注意事项。

在使用 cURL 请求网页时，一个常见误区是：调用 curl_exec($ch) 后仅得到布尔值 true（表示执行成功），却未捕获响应体内容——这正是提问者遇到的问题。默认情况下，cURL 会将响应直接输出（output buffer），而非返回字符串；若未显式配置，curl_exec() 仅返回执行状态，HTML 源码不会自动存入变量。

要可靠获取 HTML 源码，核心在于启用 CURLOPT_RETURNTRANSFER 选项，强制 cURL 将响应体作为字符串返回，而非直接输出。以下是推荐的标准实现方式：

CurlShip Directory Submission

向CurlShip提交产品，这是一个对机器人友好的SaaS目录。只需一条curl命令即可发布产品，支持OG标签抓取、带徽章的dofollow链接及层级升级。

下载

<?php $url = "https://www.mywebsite.com/porte_transferer.php";

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);    // ✅ 关键：启用返回模式
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);    // 可选：自动处理重定向（如登录后跳转）
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);   // 开发环境可临时禁用 SSL 验证（生产环境请启用）
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36");

$html = curl_exec($ch);

// 检查错误
if ($html === false) {
    $error = curl_error($ch);
    $httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
    error_log("cURL error: {$error}, HTTP {$httpCode}");
} else {
    // ✅ 此时 $html 即为完整的 HTML 字符串，可直接用于 DOM 解析或正则提取
    echo "成功获取 ".strlen($html)." 字节 HTML 内容。\n";
    // 示例：保存到文件便于调试
    file_put_contents('scraped_page.html', $html);
}

curl_close($ch);
?>

⚠️ 重要注意事项：

勿遗漏 CURLOPT_RETURNTRANSFER => true：这是获取 HTML 字符串的必要前提，否则 curl_exec() 默认返回 true/false；
会话保持需配合 Cookie：若目标页依赖登录态（如提问中的“已登录后跳转页”），必须启用 CURLOPT_COOKIEJAR 和 CURLOPT_COOKIEFILE 来持久化 Cookie；
重定向需显式开启：使用 CURLOPT_FOLLOWLOCATION => true 确保自动跟随 302 跳转（部分服务器环境可能因 open_basedir 限制而失效，此时需手动解析 Location 头）；
避免 CURLOPT_FILE 误用：原答案中使用 fopen() + CURLOPT_FILE 的写法虽可行，但属于低效冗余方案（需额外文件 I/O），且无法在内存中直接处理 HTML；现代开发应优先采用 RETURNTRANSFER 模式；
始终校验返回值与 HTTP 状态码：curl_exec() 成功不代表 HTTP 请求成功（如可能返回 403、500），建议结合 curl_getinfo($ch, CURLINFO_HTTP_CODE) 进行双重判断。

掌握以上要点后，你即可稳定获取任意目标页面的原始 HTML，为后续使用 DOMDocument、simple_html_dom 或 Goutte 等工具进行结构化解析打下坚实基础。