如何解决 Google News 爬虫在生产环境返回空白页的问题-php教程-PHP中文网

如何解决 Google News 爬虫在生产环境返回空白页的问题

google news 爬虫在本地开发环境正常运行，但部署到生产服务器（如 digitalocean）后返回空白页且无报错，根本原因是 google 基于请求 ip 地址识别并拦截来自云服务商的自动化流量，将其判定为可疑爬虫行为。

google news 爬虫在本地开发环境正常运行，但部署到生产服务器（如 digitalocean）后返回空白页且无报错，根本原因是 google 基于请求 ip 地址识别并拦截来自云服务商的自动化流量，将其判定为可疑爬虫行为。

Google News 并未提供官方 API，其前端页面高度依赖 JavaScript 渲染与动态 DOM 结构，且服务端主动实施反爬策略：当请求来自已知数据中心 IP 段（如 AWS、DigitalOcean、Linode、阿里云等），Google 会默认返回精简 HTML（甚至空响应或 403/429）、注入验证挑战（如 reCAPTCHA），或直接静默丢弃请求——这正是你“白屏无错误”的真实原因。

你的代码中存在多个关键风险点：

硬编码 URL 与变量未插值：

Google Sheet matan
通过 Maton API Gateway 与 Google Sheets 交互，使用 curl 读取、写入、追加和清除电子表格数据。在用户提及相关需求时使用此技能。

下载
```
$crawler = $client->request('GET', 'https://news.google.com/search?q=$%20site%3A*.cd&...'); // ❌ 错误：$q 未被解析，实际发送的是字面量 `$%20site%3A*.cd`
```
正确写法应使用 unifyUrl() 函数并确保变量拼接安全：
```
$url = unifyUrl('* site:*.cd');
$crawler = $client->request('GET', $url); // ✅
```

选择器过度脆弱：
当前 CSS 选择器 #yDmH0d > c-wiz.zQTmif.SSPGKf > ... 是 Google 前端自动生成的内部 ID 和类名，极不稳定。每次前端更新即失效，导致 ->filter(...)->each(...) 匹配不到任何节点，echo 自然无输出。建议改用语义化、层级更宽松的选择器，例如：

$crawler->filter('article')->each(function ($article) {
    $title = $article->filter('h3')->text(null); // null 表示未匹配时返回 null 而非抛异常
    $link = $article->filter('a')->attr('href');
    $source = $article->filter('div[data-n-tid] a')->text(null);
    $date = $article->filter('time')->text(null);
    if ($title) {
        echo htmlspecialchars($title) . "\n";
    }
});

缺少请求头伪装与基础反反爬配置：
Goutte 默认使用 Guzzle，默认 User-Agent 易被识别。务必添加真实浏览器头，并启用 Cookie 支持：

$client = new Client();
$client->setServerParameter('HTTP_USER_AGENT', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36');
$client->setHeader('Accept', 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8');
$client->setHeader('Accept-Language', 'fr-FR,fr;q=0.9,en-US;q=0.8,en;q=0.7');

生产环境 IP 封禁是核心瓶颈：
如答案所指出：本地开发（家庭宽带/IP）通常可通行；而 DigitalOcean 等云主机 IP 属于公开数据中心段，Google 会主动限流或屏蔽。免费代理不可靠且易被封，必须使用高质量、住宅型（Residential）或移动运营商 IP 的付费代理服务（如 Bright Data、Oxylabs、Smartproxy），并通过中间层路由所有请求：
```
$client = new Client([
    'http_errors' => false,
    'timeout' => 30,
    'proxy' => 'http://user:pass@proxy-domain:port', // ✅ 代理配置
]);
```

✅ 总结建议：

优先放弃直接爬取 Google News —— 使用 Google Custom Search JSON API（需绑定网站+启用新闻搜索）或第三方聚合 API（如 NewsAPI.org）；
若必须爬取，请严格遵守 robots.txt、添加随机延迟（sleep(rand(2,5))）、限制请求频率（≤1 次/秒）、持续监控 HTTP 状态码与响应体长度；
生产环境务必通过可信代理池 + 请求头 + Cookie 持久化三重加固，否则高概率失败。