本文介绍如何通过本地文件缓存机制显著提升 php 中循环调用 curl 请求的历史数据获取效率，避免重复网络请求导致的严重性能瓶颈，并提供可直接复用的缓存封装函数与完整示例。
本文介绍如何通过本地文件缓存机制显著提升 php 中循环调用 curl 请求的历史数据获取效率，避免重复网络请求导致的严重性能瓶颈，并提供可直接复用的缓存封装函数与完整示例。
在批量抓取静态或低频更新的历史数据（如股票、汇率、行情等）时，若对同一接口反复发起数百次 cURL 请求，不仅响应极慢、易触发服务端限流，还会造成不必要的网络与服务器资源消耗。核心问题在于：每次循环都新建 cURL 句柄、建立 TCP 连接、发送完整 HTTP 头部、等待远程响应——而这些操作在数据不变的前提下完全可被规避。
最高效且轻量的解决方案是引入客户端本地缓存层。以下实践基于文件系统实现智能缓存：首次请求执行真实 cURL 调用并保存结果；后续相同参数的请求，在缓存有效期内（如 1 周）直接读取本地 JSON 文件，跳过全部网络开销。
CurlShip Directory Submission
下载
向CurlShip提交产品，这是一个对机器人友好的SaaS目录。只需一条curl命令即可发布产品，支持OG标签抓取、带徽章的dofollow链接及层级升级。
✅ 优化后的完整代码实现
/**
* 通用函数缓存封装器：自动缓存指定函数的返回值
*
* @param string $func 函数名（需为可调用字符串）
* @param array $args 函数参数数组
* @param int $seconds 缓存有效期（秒），默认 604800（7 天）
* @param bool $json 是否以 JSON 格式序列化/反序列化，默认 true
* @param string $cache_dir 缓存目录路径（需有写权限），默认 ./cache/
* @return mixed 缓存命中则返回缓存值，否则执行函数并缓存后返回
*/
function cachef($func, $args, $seconds = 604800, $json = true, $cache_dir = './cache/') {
if (!is_dir($cache_dir)) {
mkdir($cache_dir, 0755, true);
}
// 生成唯一缓存键：基于函数名 + 参数序列化哈希
$request_hash = md5(json_encode([$func, $args]));
$request_file = $cache_dir . $request_hash . '.json';
$run = !file_exists($request_file) || (filemtime($request_file) URL, 1 => POST 数据字符串]
* @return string HTTP 响应体
*/
function post($args) {
[$url, $data] = $args;
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'POST');
curl_setopt($ch, CURLOPT_ENCODING, 'gzip');
curl_setopt($ch, CURLOPT_HTTPHEADER, [
'Accept' => 'text/html, */*; q=0.01',
'Accept-Language' => 'en-US,en;q=0.9,ur;q=0.8,zh-CN;q=0.7,zh;q=0.6',
'Cache-Control' => 'no-cache',
'Connection' => 'keep-alive',
'Content-Type' => 'application/x-www-form-urlencoded; charset=UTF-8',
'DNT' => '1',
'Origin' => 'https://dps.psx.com.pk',
'Pragma' => 'no-cache',
'Referer' => 'https://dps.psx.com.pk/historical',
'Sec-Fetch-Dest' => 'empty',
'Sec-Fetch-Mode' => 'cors',
'Sec-Fetch-Site' => 'same-origin',
'User-Agent' => 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.75 Safari/537.36',
'X-Requested-With' => 'XMLHttpRequest',
'sec-ch-ua' => '" Not A;Brand";v="99", "Chromium";v="100", "Google Chrome";v="100"',
'sec-ch-ua-mobile' => '?0',
'sec-ch-ua-platform' => '"macOS"',
'Accept-Encoding' => 'gzip',
]);
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
$response = curl_exec($ch);
$httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
curl_close($ch);
// 可选：添加基础错误处理（如非2xx响应可抛异常或记录日志）
if ($httpCode >= 400) {
error_log("cURL request failed with HTTP {$httpCode} for {$url}");
}
return $response;
}
// ✅ 使用示例：200 次循环请求 → 实际仅首次发起网络请求
for ($x = 0; $x $month,
'year' => $year,
'symbol' => strtoupper($symbol)
]);
// 自动缓存：相同 $query + URL 组合在 7 天内复用本地结果
$html = cachef('post', ['https://dps.psx.com.pk/historical', $query], 604800);
// 可选：实时输出进度（防止超时中断，适用于 CLI 环境）
echo '.';
if ($x % 50 === 0) {
echo " [{$x}/200]";
flush(); // 强制刷新输出缓冲区
}
}
echo "\nDone.\n";
⚠️ 注意事项与进阶建议
- 缓存目录权限：确保 ./cache/ 目录存在且 Web 服务器用户（如 www-data 或 nginx）具有读写权限；
- 参数一致性：cachef 依赖 json_encode([$func, $args]) 生成缓存键，因此 $args 中不应含资源、对象或闭包等不可序列化类型；
- 安全性提示：本例未校验远程响应合法性，生产环境建议增加 curl_errno() 判断、HTTP 状态码验证及超时控制（如 CURLOPT_TIMEOUT => 10）；
- 替代方案：高频场景可升级为 Redis/Memcached 缓存；需支持并发写入时建议加文件锁（flock()）；
- 调试技巧：临时将 $seconds 设为 1 可快速验证缓存逻辑是否生效；启用 error_log() 记录缓存命中/未命中状态便于排查。
通过该缓存策略，原本耗时数分钟甚至超时的 200 次请求，将压缩至首次约 1–2 秒 + 后续毫秒级响应，大幅提升脚本鲁棒性与执行效率。
php免费学习视频：立即使用
踏上前端学习之旅，开启通往精通之路！从前端基础到项目实战，循序渐进，一步一个脚印，迈向巅峰！
