PHPで大量のデータをエクスポートする方法

PHP の開発プロセスでは、エクスポートする必要があるデータが発生することがあります。さまざまなフレームワークのいくつかのパッケージを使用してデータを直接取得し、対応する処理メソッドに投入できます。ただし、大量のデータが発生した場合は、エクスポートする必要があるデータの量。その時点で、それを達成するには他の方法を使用する必要があります。

一般に、ビッグ データを扱うにはいくつかのソリューションがあります: イベント トリガー スクリプトを追加または変更してデータを生成する、スケジュールされたタスク スクリプトを実行してデータを生成する、phpexcel を直接使用して大量のデータをエクスポートする、fputcsv real を使用する書き込むまでのデータフローの時間。次のように図を使用して表します。

#ここでは主に fputcsv を使用してデータをエクスポートする方法を記録します。

public function exportData()
    {   
        set_time_limit(0);
        ini_set('memory_limit', '1024M');        
        $columns = [            '列名1', '列名2', '列名3'      //需要几列，定义好列名
        ];        //设置好告诉浏览器要下载excel文件的headers
        header('Content-Description: File Transfer');
        header('Content-Type: application/vnd.ms-excel');
        header('Content-Disposition: attachment; filename="导出数据-'.date('Y-m-d', time()).'.csv"');
        header('Expires: 0');
        header('Cache-Control: must-revalidate');
        header('Pragma: public');        $fp = fopen('php://output', 'a');//打开output流
        mb_convert_variables('GBK', 'UTF-8', $columns);
        fputcsv($fp, $columns);//将数据格式化为CSV格式并写入到output流中

        //添加查询条件，获取需要的数据
        $query = Model::class()->where();

        //获取总数，分页循环处理
        $accessNum = $query->count();
        $perSize = 1000;
        $pages   = ceil($accessNum / $perSize);        
        for($i = 1; $i <= $pages; $i++) {

            $db_data = $query->limit($perSize)->offset(($i-1)*$perSize)->get();            
            foreach($db_data as $key => $value) {                
            $rowData = [];                //获取每列数据，转换处理成需要导出的数据
                //需要格式转换，否则会乱码
                mb_convert_variables(&#39;GBK&#39;, &#39;UTF-8&#39;, $rowData);
                fputcsv($fp, $rowData);
            }            //释放变量的内存
            unset($db_data);            //刷新输出缓冲到浏览器
            ob_flush();            //必须同时使用 ob_flush() 和flush() 函数来刷新输出缓冲。
            flush();
        }

        fclose($fp);        
        exit();
    }

これにより、ダウンロードしたファイルの生成と書き込みが同時に行われるため、処理速度が向上します。
以前に使用したパッケージ処理では 25M データが生成され、これには 20 分かかります。この方法の処理には 1 分以上かかります (実際の処理環境にも関係します)。

関連推奨事項:

PHP csv 大量データ エクスポート 分割処理

php 大量データを mysql にインポート（例）＃ ＃＃＃＃＃

以上がPHPで大量のデータをエクスポートする方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。