如何解决 PHP cURL 请求被拒绝而命令行正常的问题-php教程-PHP中文网

如何解决 PHP cURL 请求被拒绝而命令行正常的问题

php 中使用 curl 访问某些网站（如 vueling.com）返回 “access denied”，但相同 url 在终端执行 curl 命令却能成功，根本原因通常是 php curl 缺少合法 user-agent 等关键请求头，导致目标服务器识别为爬虫或非法请求而拦截。

php 中使用 curl 访问某些网站（如 vueling.com）返回 “access denied”，但相同 url 在终端执行 curl 命令却能成功，根本原因通常是 php curl 缺少合法 user-agent 等关键请求头，导致目标服务器识别为爬虫或非法请求而拦截。

当您在命令行中运行 curl -v https://www.vueling.com/en 时，curl 默认会发送一个标准的、浏览器友好的 User-Agent（例如 curl/8.6.0），部分网站会基于该字段判断请求合法性；而 PHP 的 curl_exec() 默认不设置 User-Agent，导致 HTTP 请求头中缺失该字段（或值为空），触发服务器的反爬策略（如 WAF、Cloudflare 或自定义访问控制），从而返回 <h1>Access Denied</h1>。

要修复该问题，需显式设置与真实浏览器或 CLI curl 兼容的请求头。以下是推荐的修复代码：

$ch = curl_init();
curl_setopt($ch, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_2_0);
curl_setopt($ch, CURLOPT_URL, 'https://www.vueling.com/en');
curl_setopt($ch, CURLOPT_TIMEOUT, 10); // 建议适当延长超时（原设2秒过短，易失败）
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // 关键：启用返回值，避免直接输出
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);  // 自动跟随重定向（常见于现代网站）
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);  // 开发调试可临时禁用证书验证（生产环境应保留 true）
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);

// ✅ 必须设置合法的 User-Agent 和 Accept 头
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36');
curl_setopt($ch, CURLOPT_HTTPHEADER, [
    'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language: en-US,en;q=0.5',
    'Accept-Encoding: gzip, deflate',
    'Connection: keep-alive',
]);

$data = curl_exec($ch);
$httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
curl_close($ch);

if ($data === false) {
    echo 'cURL Error: ' . curl_error($ch);
} elseif ($httpCode >= 400) {
    echo "HTTP Error $httpCode";
} else {
    echo $data;
}

关键注意事项：

CurlShip Directory Submission

向CurlShip提交产品，这是一个对机器人友好的SaaS目录。只需一条curl命令即可发布产品，支持OG标签抓取、带徽章的dofollow链接及层级升级。

下载

CURLOPT_RETURNTRANSFER => true 是必需的，否则 curl_exec() 直接输出内容且返回 true/false，无法捕获响应体；
避免使用过短的 CURLOPT_TIMEOUT（如 2 秒），HTTPS 握手 + DNS 解析 + 重定向可能耗时更长；
生产环境中 切勿长期禁用 SSL 验证（CURLOPT_SSL_VERIFYPEER/VERIFYHOST），应确保系统 CA 证书路径正确或使用 curl_setopt($ch, CURLOPT_CAINFO, '/path/to/cacert.pem')；
若仍被拦截，可进一步模拟完整浏览器行为：添加 Referer、启用 Cookie 处理（CURLOPT_COOKIEJAR/CURLOPT_COOKIEFILE）、或使用 CURLOPT_ENCODING => 'gzip' 支持压缩响应。