如何在 PHP 中循环调用函数实现分批导出 MySQL 数据为 JSON 文件

阿浩小哥_1921

阿浩小哥_1921

2026-05-26

457人浏览

原创

如何在 PHP 中循环调用函数实现分批导出 MySQL 数据为 JSON 文件

本文介绍如何通过封装函数 + 循环(或递归)机制,让 PHP 函数自动重复执行,直至处理完所有未同步的 MySQL 数据,每批次导出 100 条并标记 SYNC_FLAG = 'Y',避免重复导出。

本文介绍如何通过封装函数 + 循环(或递归)机制,让 php 函数自动重复执行,直至处理完所有未同步的 mysql 数据,每批次导出 100 条并标记 `sync_flag = 'y'`,避免重复导出。

要实现“函数执行完毕后自动重复调用自身,直到数据耗尽”,核心思路是将导出逻辑封装为可复用函数,并通过外部控制结构(如 while 循环)驱动其多次执行——而非依赖函数内部自我调用(递归),后者在大数据量下易触发栈溢出或超时,不推荐用于生产环境的批量任务。

✅ 推荐方案:封装函数 + 分页循环(安全、可控、易调试)

首先,将原代码抽象为一个独立函数 exportMembersBatch(),接收 $offset 和 $limit 参数,支持分页查询:

dmap-jsapi-skill
dmap-jsapi-skill

DMap GL地图JSAPI(dmapgl)开发指南。用于编写、审查、调试 DMap 地图 API 代码,涵盖地图初始化、覆盖物渲染、图层管理、事件处理、控件交互等任务。当用户提及 dmap、dmapgl、jsapi‑gl 或相关地图开发需求时自动触发。

下载
function exportMembersBatch($db, $store_path_pos, $counterFile, $limit = 100, $offset = 0) {
    // 查询当前批次(带 OFFSET 支持分页)
    $results = $db->SELECT()
        ->FROM(['MM' => 'M_MEMBER'], [
            'MEMBER_ID'     => 'MM.MEMBER_ID',
            'FIRST_NAME'    => 'MM.FIRST_NAME',
            'LAST_NAME'     => 'MM.LAST_NAME',
            'MEMBER_GROUP'  => 'MM.MEMBER_GROUP',
            'MEMBER_GROUP1' => 'MM.MEMBER_GROUP1',
            'PHONE_NUMBER'  => 'MM.PHONE_NUMBER',
            'MEMBERSHIP'    => 'MM.MEMBERSHIP',
            'UPLOAD_DATE'   => 'MM.UPLOAD_DATE',
            'STATUS'        => 'MM.STATUS'
        ])
        ->WHERE('DATE(MM.UPLOAD_DATE) = CURDATE()')
        ->WHERE('SYNC_FLAG = ?', 'N')
        ->LIMIT($limit)
        ->OFFSET($offset)
        ->QUERY()
        ->FETCHALL();

    if (empty($results)) {
        return false; // 无更多数据,终止循环
    }

    // 构建 JSON 数据并更新标志位
    $counter = formatNbr($counterFile);
    $data = [];
    foreach ($results as $row) {
        $data[] = array_merge($row, ['_id' => (string)Application_Helper_General::generateIdJsonFile()]);
        // 安全更新:使用预处理防止 SQL 注入
        $db->UPDATE('M_MEMBER')
           ->SET(['SYNC_FLAG' => 'Y'])
           ->WHERE('MEMBER_ID = ?', $row['MEMBER_ID'])
           ->EXEC();
    }

    // 生成并保存 JSON 文件(移除非法字符,确保 UTF-8 兼容)
    $jsonStr = json_encode($data, JSON_UNESCAPED_UNICODE | JSON_UNESCAPED_SLASHES);
    $cleanJson = preg_replace('/[\x00-\x08\x0B\x0C\x0E-\x1F\x80-\xFF]/', '', $jsonStr);
    $filename = $store_path_pos . 'dataMember_' . date('Y-m-d') . '_' . $counter . '.json';
    $written = file_put_contents($filename, $cleanJson);

    if ($written !== false) {
        echo "✅ 成功创建 JSON 文件:{$filename}(共 {$limit} 条)\n";
        return true;
    } else {
        echo "❌ 写入文件失败:{$filename}\n";
        return false;
    }
}

接着,使用 while 循环持续调用该函数,每次推进 OFFSET,直到无新数据返回:

// 第一步:获取待处理总记录数(关键!避免无限循环)
$totalUnsync = $db->SELECT(['COUNT(*) AS cnt'])
    ->FROM('M_MEMBER')
    ->WHERE('DATE(UPLOAD_DATE) = CURDATE() AND SYNC_FLAG = ?', 'N')
    ->QUERY()
    ->FETCH()['cnt'];

$limit = 100;
$offset = 0;

echo "? 检测到 {$totalUnsync} 条待导出记录...\n";

while ($offset <h3>⚠️ 注意事项与最佳实践</h3>
  • 务必先查总数再循环:避免因 LIMIT/OFFSET 在高并发下漏数据或重复;若表极大,也可改用「基于主键游标分页」(如 WHERE MEMBER_ID > ?)提升性能。
  • 禁止拼接 SQL 更新语句:原文中 $queryUdateMemberFlag = 'UPDATE ... '.$row['MEMBER_ID'] 存在严重 SQL 注入风险,已改为预处理方式($db->UPDATE()->SET()->WHERE()->EXEC())。
  • JSON 处理优化:使用 JSON_UNESCAPED_UNICODE 保留中文,substr($jsonAr, 1, -1) 是危险操作(会破坏合法 JSON 结构),应直接 json_encode($data) 后清洗非法字符。
  • 递归不推荐:虽然答案提到递归,但实际中 exporter() 若未设终止条件或深度过大,极易导致 Fatal error: Maximum function nesting level reached 或内存溢出;循环方式更稳定、可监控、易中断。
  • 增强健壮性建议:
    • 添加 set_time_limit(0) 防止超时;
    • 每次写入后 sleep(0.1) 缓解 I/O 压力;
    • 记录日志(如 error_log("Export batch {$offset} done"))便于排障。

通过以上重构,你的导出逻辑即具备了自动化、可扩展、生产就绪的批量处理能力。

php免费学习视频:立即使用
踏上前端学习之旅,开启通往精通之路!从前端基础到项目实战,循序渐进,一步一个脚印,迈向巅峰!

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

mysql php js json

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

2023.09.01

10884

6

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.11

6341

5

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.11

2135

5

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

2023.10.23

4008

4

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

2023.10.23

4714

6

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.03

3711

9

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.09

5297

8

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.13

4162

8

sprintf函数用法详解
sprintf函数用法详解

sprintf函数的用法:1、格式化字符串;2、指定输出宽度和精度;3、返回值。更多关于sprintf函数用法详解的内容,大家可以阅读下面的文章。

2023.11.27

12062

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 187人学习