PHP CSV 내보내기

不言원래의: 2018-04-20 10:04:392664검색

이 기사에서는 특정 참조 가치가 있는 php csv 내보내기 내용을 소개합니다. 이제 필요한 친구들이 참조할 수 있습니다.

개요:

최근 회사의 프로젝트에서는 페이지 출력 외에도 데이터 내보내기가 필요합니다. 이전에는 여러 내보내기 기능을 수행했지만 이번에는 하루에 거의 200,000개의 데이터가 필요합니다. 또는 내보내기까지 30일이 소요됩니다. 그러면 데이터 양이 100만, 심지어는 수천만을 쉽게 초과할 수 있습니다. 따라서 개발 과정에서 저는 이를 여러분과 공유하고 각각의 문제점을 배우고 싶습니다. 다른.

준비:

1. PHP 설정 피트:

set_time_limit – 스크립트의 최대 실행 시간을 설정합니다:

일반적으로 이 구성은 PHP에서 기본적으로 30초입니다. 설정상의 문제이지만, 데이터를 내보낼 수 있는 수백만 레벨에 도달하면 30초로는 부족한 경우가 많으므로 이제 스크립트 실행 시간이 없도록 스크립트에 set_time_limit(0)을 추가해야 합니다.

memory_limit – PHP 메모리 제한:

이 구성은 일반적으로 PHP의 경우 기본적으로 128M입니다. 이전에 작은 데이터를 수행한 경우 이 구성을 사용하여 많은 문제를 해결할 수 있다고 생각할 수도 있습니다. 빅 데이터에 대해서도 이것을 늘리면 충분합니까? 그렇다면 정말 너무 어리고 너무 네이티브입니다. 로컬에서 1G 또는 무제한을 설정할 수 있다면 문제가 되지 않을 수 있지만, 공식 세계에서는 이렇게 하면 PHP 프로그램이 이렇게 큰 메모리를 차지하게 됩니다. 공간에 문의하시면 귀사의 운영 및 유지 관리가 구성 조정에 도움이 될 것입니다. 서버 하드웨어에 대해 이러한 작업을 수행하는 것은 매우 사치스러운 일입니다. 따라서 이 설정을 늘리지 않도록 노력해야 합니다.

2. 엑셀 피트:

데이터를 내보내다 보면 당연히 데이터를 보기에 너무 편리한 엑셀 형식이 떠오릅니다. 하지만 엑셀에도 성질이 있을 거라고는 전혀 예상하지 못했습니다!

테이블 데이터 제한:

Excel 2003及以下的版本。一张表最大支持65536行数据，256列。
Excel 2007-2010版本。一张表最大支持1048576行，16384列。

즉, 수백만 개의 항목을 한 번에 EXCEL 테이블로 쉽게 가져오려는 경우에는 그렇지 않습니다. 가능합니다. 데이터가 테이블당 104W를 초과할 수 없도록 최소한 데이터를 분할해야 합니다.

PHPexcel 메모리 오버플로:

데이터가 104W로 제한되어 있으므로 데이터 분할은 데이터 분할이므로 한 번에 50W 테이블을 가져오려고 하는데 PHPexcel 내부에 메모리를 보고하는 기능이 있습니다. 오버플로 오류가 발생한 후 계속 조정합니다. 적은 양의 데이터로 한 번에 5W를 가져올 때 메모리 오버플로 오류가 발생합니다. 왜 그럴까요? 여러 데이터 테이블을 가져오기 위해 데이터를 분할했지만, 결국 PHPexcel은 여전히 모든 테이블 데이터를 한 번에 하나의 변수에 넣어 파일을 생성하는데… 뭐, 이 수백만 개의 데이터가 하나의 변수에 저장됩니다. 원하시나요? 기억이 넘치지 않게 하는 것이 정말 어렵습니다.
(나중에 일부 기사를 읽고 PHPExcel에도 해결책이 있다는 것을 알았습니다. PHPExcel_Settings::setCacheStorageMethod 메서드는 메모리 사용량을 줄이기 위해 버퍼링 방법을 변경합니다)

3. CSV 피트:

EXCEL은 너무 귀찮습니다. 사용하지 않아? csv 파일을 사용하여 저장하는데 수량에는 제한이 없습니다. EXCEL을 사용하여 직접 볼 수도 있습니다. 나중에 데이터베이스로 파일을 가져올 수도 있습니다. 돌 하나? 이봐, 정말 좋은 생각이구나, 젊은 영웅! 하지만 CSV에도 함정이 있습니다!

출력 버퍼가 너무 많음:

PHP 기본 함수 putcsv()를 사용할 때 실제로 출력 버퍼 버퍼를 사용하여 수백만 개의 데이터를 출력하면 출력 버퍼도 너무 많아집니다. 오류가 보고되므로 일정 시간마다 출력 캐시의 내용을 꺼내어 출력 대기 상태로 설정해야 합니다. 구체적인 작업은 다음과 같습니다:

ob_flush();flush();

具体说明介绍：PHP flush()与ob_flush()的区别详解

EXCEL查看CSV文件数量限制：

大多数人看csv文件都是直接用EXCEL打开的。额，这不就是回到EXCEL坑中了吗？EXCEL有数据显示限制呀，你几百万数据只给你看104W而已。什么？你不管？那是他们打开方式不对而已？不好不好，我们解决也不难呀，我们也把数据分割一下就好了，再分开csv文件保存，反正你不分割数据变量也会内存溢出。

4、总结做法

分析完上面那些坑，那么我们的解决方案来了，假设数据量是几百万。

1、那么我们要从数据库中读取要进行数据量分批读取，以防变量内存溢出，

2、我们选择数据保存文件格式是csv文件，以方便导出之后的阅读、导入数据库等操作。

3、以防不方便excel读取csv文件，我们需要104W之前就得把数据分割进行多个csv文件保存

4、多个csv文件输出给用户下载是不友好的，我们还需要把多个csv文件进行压缩，最后提供给一个ZIP格式的压缩包给用户下载就好。

代码：

 //导出说明:因为EXCEL单表只能显示104W数据，同时使用PHPEXCEL容易因为数据量太大而导致占用内存过大，
    //因此，数据的输出用csv文件的格式输出，但是csv文件用EXCEL软件读取同样会存在只能显示104W的情况，所以将数据分割保存在多个csv文件中，并且最后压缩成zip文件提供下载
    function putCsv(array $head, $data, $mark = &#39;attack_ip_info&#39;, $fileName = "test.csv")
    {
        set_time_limit(0);        $sqlCount = $data->count();        // 输出Excel文件头，可把user.csv换成你要的文件名
        header(&#39;Content-Type: application/vnd.ms-excel;charset=utf-8&#39;);
        header(&#39;Content-Disposition: attachment;filename="&#39; . $fileName . &#39;"&#39;);
        header(&#39;Cache-Control: max-age=0&#39;);        $sqlLimit = 100000;//每次只从数据库取100000条以防变量缓存太大
        // 每隔$limit行，刷新一下输出buffer，不要太大，也不要太小
        $limit = 100000;        // buffer计数器
        $cnt = 0;        $fileNameArr = array();        // 逐行取出数据，不浪费内存
        for ($i = 0; $i < ceil($sqlCount / $sqlLimit); $i++) {            $fp = fopen($mark . &#39;_&#39; . $i . &#39;.csv&#39;, &#39;w&#39;); //生成临时文件
      //     chmod(&#39;attack_ip_info_&#39; . $i . &#39;.csv&#39;,777);//修改可执行权限
            $fileNameArr[] = $mark . &#39;_&#39; .  $i . &#39;.csv&#39;;        // 将数据通过fputcsv写到文件句柄
            fputcsv($fp, $head);            $dataArr = $data->offset($i * $sqlLimit)->limit($sqlLimit)->get()->toArray();            foreach ($dataArr as $a) {                $cnt++;                if ($limit == $cnt) {                    //刷新一下输出buffer，防止由于数据过多造成问题
                    ob_flush();
                    flush();                    $cnt = 0;
                }
                fputcsv($fp, $a);
            }
            fclose($fp);  //每生成一个文件关闭
        }        //进行多个文件压缩
        $zip = new ZipArchive();        $filename = $mark . ".zip";        $zip->open($filename, ZipArchive::CREATE);   //打开压缩包
        foreach ($fileNameArr as $file) {            $zip->addFile($file, basename($file));   //向压缩包中添加文件
        }        $zip->close();  //关闭压缩包
        foreach ($fileNameArr as $file) {
            unlink($file); //删除csv临时文件
        }        //输出压缩文件提供下载
        header("Cache-Control: max-age=0");
        header("Content-Description: File Transfer");
        header(&#39;Content-disposition: attachment; filename=&#39; . basename($filename)); // 文件名
        header("Content-Type: application/zip"); // zip格式的
        header("Content-Transfer-Encoding: binary"); //
        header(&#39;Content-Length: &#39; . filesize($filename)); //
        @readfile($filename);//输出文件;
        unlink($filename); //删除压缩包临时文件
    }

总结：

其实上面代码还是有优化的空间的，比如说用异常捕捉，以防因为某些错误而导致生成了一些临时文件又没有正常删除，还有PHPexcel的缓存设置也许能解决内存溢出问题，可以生成一个EXCEL文件多个工作表的形式，这样对于文件阅读者来说更友好。

以上便是本人对PHP大数据导出的见解，希望能帮到您们，同时不足的地方请多多指教！

————————————————————————————————————
2017年12月17日
PS：最近了解其实关于内存溢出的问题，用迭代器来处理会方便多了。

PHP CSV 내보내기

개요:

준비:

1. PHP 설정 피트:

2. 엑셀 피트:

3. CSV 피트:

4、总结做法

代码：

总结：

관련 기사