如何高效分页获取大规模API数据（30万+记录）并避免请求超限-php教程-PHP中文网

如何高效分页获取大规模API数据（30万+记录）并避免请求超限

本文介绍在php中安全、稳定地分页拉取数十万级api数据的完整方案，涵盖jwt鉴权、速率控制、防重入机制、断点续传及存储优化，避免因并发请求导致服务过载或限流失败。

本文介绍在php中安全、稳定地分页拉取数十万级api数据的完整方案，涵盖jwt鉴权、速率控制、防重入机制、断点续传及存储优化，避免因并发请求导致服务过载或限流失败。

在处理如30万+记录的大规模API数据时，盲目循环请求所有分页（例如12,000+页 × 25条/页）极易触发限流（如题中“50次请求/3分钟”）、内存溢出或脚本超时。关键不在于“快”，而在于“稳”与“可持续”。以下是经过生产验证的PHP分页拉取最佳实践：

✅ 核心原则

绝不前端JS执行：浏览器环境无法可靠控制请求节流、无持久状态、易被中断，且JWT令牌暴露风险高；后端PHP + 定时任务才是唯一合理选择。
必须防重入：避免cron重复触发导致请求堆叠、资源耗尽。
必须持久化进度：每次成功获取一页后，记录当前page或cursor，支持断点续传。
必须遵守速率限制：严格按API规则（如50 req / 180 sec ≈ 每3.6秒1次）匀速请求，建议预留缓冲（如每4秒1次）。

?️ 推荐实现方案（PHP + Cron）

<?php // config.php
define('API_BASE_URL', 'https://api.example.com/v1/items');
define('JWT_TOKEN', 'eyJhbGciOiJIUzI1NiIs...'); // 建议从环境变量或安全配置读取
define('PAGE_SIZE', 25);
define('REQUEST_INTERVAL_MS', 4000); // 4秒/次，严守限流余量

// status.lock —— 简单文件锁（生产环境建议用Redis或数据库标记）
$lockFile = __DIR__ . '/status.lock';
$progressFile = __DIR__ . '/progress.json';

// 1. 防重入检查
if (file_exists($lockFile) && (time() - filemtime($lockFile)) < 300) {
    echo "Script is still running or crashed recently. Exiting.\n";
    exit(1);
}
file_put_contents($lockFile, 'RUNNING');

// 2. 读取上次进度（默认从第1页开始）
$progress = json_decode(file_get_contents($progressFile) ?: '{"page": 1, "total_fetched": 0}', true);
$page = $progress['page'];
$totalFetched = $progress['total_fetched'];

// 3. 分页循环获取（带异常处理与节流）
do {
    $url = API_BASE_URL . "?limit=" . PAGE_SIZE . "&offset=" . (($page - 1) * PAGE_SIZE);

    $ch = curl_init();
    curl_setopt_array($ch, [
        CURLOPT_URL => $url,
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_HTTPHEADER => [
            "Authorization: Bearer " . JWT_TOKEN,
            "Content-Type: application/json"
        ],
        CURLOPT_TIMEOUT => 30,
    ]);

    $response = curl_exec($ch);
    $httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
    curl_close($ch);

    if ($httpCode !== 200 || !$response) {
        error_log("API request failed on page {$page}: HTTP {$httpCode}");
        break; // 或记录错误后 continue（跳过该页）
    }

    $data = json_decode($response, true);
    if (json_last_error() !== JSON_ERROR_NONE) {
        error_log("Invalid JSON on page {$page}");
        break;
    }

    // ✅ 处理当前页数据：写入文件（推荐追加模式）或批量插入数据库
    file_put_contents('all_data.jsonl', json_encode($data['items'] ?? []) . "\n", FILE_APPEND | LOCK_EX);

    $totalFetched += count($data['items'] ?? []);
    $page++;

    // 更新进度文件（原子写入）
    file_put_contents($progressFile, json_encode([
        'page' => $page,
        'total_fetched' => $totalFetched,
        'updated_at' => date('c')
    ], JSON_UNESCAPED_UNICODE));

    // ⏳ 严格节流：休眠至下一次请求时间点
    usleep(REQUEST_INTERVAL_MS * 1000);

} while (!empty($data['items']) && count($data['items']) === PAGE_SIZE);

// 4. 清理锁
unlink($lockFile);
echo "Finished at page {$page}, total fetched: {$totalFetched}\n";
?>

⚠️ 关键注意事项

存储选型：
- 数据量大时，禁用内存累积数组（如$allData[] = $item），改用逐行写入JSON Lines（.jsonl）文件或直接批量INSERT到MySQL/PostgreSQL。
- 若需后续分析，推荐导入ClickHouse或Elasticsearch。
JWT刷新：若Token有短时效（如1小时），需在循环中检测401响应并自动刷新Token，再重试当前页。
监控与告警：在脚本中加入日志记录（如error_log()）和关键指标（耗时、失败页码），配合Logrotate与邮件告警。
Cron设置示例（每5分钟运行一次，确保单次执行*/5 * * * * cd /path/to/script && php fetch_api.php >> /var/log/api-fetch.log 2>&1