
本文介绍在使用 guzzle 发起批量 http 请求时,如何通过分组与延时策略避免对目标域名造成请求过载,从而防止被限流或封禁;重点讲解基于 promise 池的可控并发方案,并提供可直接落地的代码实现。
本文介绍在使用 guzzle 发起批量 http 请求时,如何通过分组与延时策略避免对目标域名造成请求过载,从而防止被限流或封禁;重点讲解基于 promise 池的可控并发方案,并提供可直接落地的代码实现。
Guzzle 本身不提供内置的“请求节流”或“批次延迟”功能,但其强大的异步能力(基于 ReactPHP 或 cURL 扩展)配合手动调度,完全可以实现精准的请求节奏控制。关键在于:不要一次性提交全部 Promise,而应按批次(如每 10 个)提交、等待完成、再休眠 1 秒,然后处理下一批。
以下是一个推荐的、兼容 Guzzle 7+ 的专业实现方案(使用 Pool + each_limit + 自定义中间件式延迟):
use GuzzleHttp\Promise\Pool;
use GuzzleHttp\Client;
// 预处理所有请求 URL
$urls = array_map(function($d) {
if (is_string($d)) $d = json_decode($d, true);
return sprintf('http://api.scrapestack.com/scrape?%s', $this->createScrapestackRequestData($d['link']));
}, $data);
// 分批:每 10 个 URL 为一组
$batchedUrls = array_chunk($urls, 10);
$responses = [];
foreach ($batchedUrls as $batchIndex => $batch) {
// 构建本批次的 Promise 数组
$promises = array_map(function($url) {
return $this->client->getAsync($url);
}, $batch);
// 使用 Pool 并发执行本批次(例如最多并发 10)
$pool = new Pool($this->client, $promises, [
'concurrency' => 10,
'fulfilled' => function ($response, $index) use (&$responses) {
$responses[] = $response->getBody()->getContents();
},
'rejected' => function ($reason, $index) {
// 可记录失败日志,不影响其他请求
error_log("Request failed: " . $reason->getMessage());
}
]);
// 等待本批次全部完成
$pool->promise()->wait();
// 批次间延迟:除最后一组外,均暂停 1 秒
if ($batchIndex <p>⚠️ 注意事项:</p>
-
勿混用同步/异步客户端:原答案中切换为 Symfony HttpClient(
CurlHttpClient)虽可行,但会丢失 Guzzle 的中间件、重试、日志等生态优势;建议全程使用 Guzzle 保持一致性。 -
sleep()vsusleep():sleep(1)在 CLI 下安全,但在 Web SAPI(如 Apache/FPM)中可能阻塞整个进程;生产环境推荐usleep(1_000_000)或结合Loop::delay()(若使用 ReactPHP)。 -
域名级限速更优:若链接集中于少数域名,可进一步增强逻辑——先按
parse_url($url, PHP_URL_HOST)分组,再对每个 host 单独限速(如每 host 每秒 ≤5 请求),这比固定 10 个/秒更健壮。 -
异常容错:务必在
rejected回调中处理异常,避免单个失败导致整批中断;必要时可加入指数退避重试。
总结:Guzzle 完全支持请求节流,核心是主动分批 + 显式等待 + 同步延迟。相比简单循环 sleep(),Pool 方案兼顾并发效率与服务友好性,是 API 调用场景下的最佳实践。










