使用 cURL 获取网页 HTML 源码的完整教程-php教程-PHP中文网

使用 cURL 获取网页 HTML 源码的完整教程

本文详解如何通过 php curl 正确获取目标网页的原始 html 源代码（而非仅渲染结果），涵盖基础配置、会话保持、错误处理及常见陷阱，助你稳定完成网页抓取与数据提取任务。

本文详解如何通过 php curl 正确获取目标网页的原始 html 源代码（而非仅渲染结果），涵盖基础配置、会话保持、错误处理及常见陷阱，助你稳定完成网页抓取与数据提取任务。

在使用 cURL 抓取网页时，一个常见误区是：调用 curl_exec($ch) 后仅得到 true 或空白输出，却无法获取实际 HTML 内容——这通常是因为未正确配置返回方式。默认情况下，cURL 将响应体直接输出到标准输出（stdout），而非返回为字符串。要获取可解析的 HTML 源码，必须显式启用 CURLOPT_RETURNTRANSFER 选项。

✅ 正确做法（推荐）：将响应内容作为字符串返回

CurlShip Directory Submission

向CurlShip提交产品，这是一个对机器人友好的SaaS目录。只需一条curl命令即可发布产品，支持OG标签抓取、带徽章的dofollow链接及层级升级。

下载

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "https://www.mywebsite.com/porte_transferer.php");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);    // 关键！启用返回模式
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);    // 自动处理重定向（如登录后跳转）
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);   // 开发环境可临时禁用 HTTPS 证书验证（生产环境请启用）
curl_setopt($ch, CURLOPT_COOKIEJAR, 'cookies.txt'); // 保存 Cookie（用于维持登录态）
curl_setopt($ch, CURLOPT_COOKIEFILE, 'cookies.txt'); // 发送已保存的 Cookie

$html = curl_exec($ch);

if ($html === false) {
    $error = curl_error($ch);
    echo "cURL 错误: " . $error;
} else {
    echo "成功获取 HTML，长度：" . strlen($html) . " 字节\n";
    // ✅ 此时 $html 即为完整的 HTML 源码字符串，可直接用于 DOM 解析或正则提取
    // 例如：$dom = new DOMDocument(); @$dom->loadHTML($html);
}

curl_close($ch);

⚠️ 注意事项：

勿遗漏 CURLOPT_RETURNTRANSFER => true：这是获取 HTML 字符串的前提；若缺失，curl_exec() 默认返回 true（成功）或 false（失败），而非内容。
登录态需 Cookie 持久化：如你的场景涉及“先登录 → 再跳转至受保护页面”，务必通过 CURLOPT_COOKIEJAR 和 CURLOPT_COOKIEFILE 实现 Cookie 跨请求共享，否则第二次请求将因未认证而失败。
避免 CURLOPT_FILE 误用：原答案中使用 fopen() + CURLOPT_FILE 的方式虽可行，但属于文件落地方案，效率低且不便于后续内存中处理（如 XPath 查询）。除非需超大页面流式保存，否则应优先选择 RETURNTRANSFER 模式。
始终检查错误：使用 curl_errno($ch) 和 curl_error($ch) 进行健壮性判断，而非仅依赖 var_dump(curl_exec($ch))。

? 扩展建议：
对于结构化数据提取，建议配合 DOMDocument 或 simple_html_dom 库解析 $html；若目标站有反爬机制，还需添加 User-Agent、延迟、Referer 等模拟头信息。切记：遵守 robots.txt 协议并控制请求频率，合法合规地进行数据采集。