私が体験した大容量ファイルデータエクスポート（バックグラウンド実行、自動生成）-PHPチュートリアル-php.cn

ホームページ

バックエンド開発

PHPチュートリアル

私が体験した大容量ファイルデータエクスポート（バックグラウンド実行、自動生成）

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jul 30, 2016 pm 01:31 PM

excelhttpnbsp

1. はじめに

最近、同僚に聞かれたのですが、ちょっと具体的な内容を忘れていたので、バックグラウンドで統計情報をエクセル形式でエクスポートする機能を記録しておきます。記録しておきます

皆さんご存知のとおり、Excel でのデータのエクスポート機能は、通常、クリックすると自動的にファイルが生成され、ダウンロードされます。データ量が少ない場合、リクエストは一度に完了してローカルにダウンロードできます

ただし、データ量が特に多い場合、ページは Excel への書き込みが成功するまで待機する必要があります

。バックグラウンドユーザーが他のページを操作できなくなる影響があります。このため、Excel エクスポートは次の機能が最適化されています:

Excel エクスポートは Excel ファイルの生成と Excel ファイルのダウンロードの 2 つの部分に分かれています

Excelファイルの生成はプログラムのバックグラウンドで実行され、フロントエンドは待つ必要がなく、他のバックグラウンド操作を実行できます

Excelファイルの生成の進行状況を表示するダウンロードファイルページを追加します。生成された Excel ファイルをダウンロードできます。ファイルが生成されたら、[ダウンロード] をクリックして、対応するファイルをダウンロードします。 2. Excel ファイルを生成する

Excel ファイルを生成するには、さまざまな方法があります。このメソッドを記録するだけです

ここではテーブルのHTML形式が使用されており、それに対応するExcelステートメント

（その他のメソッドはoffice07で開くと文字化けするようです。私はcsv形式を使用しようとしました）ファイルを後で作成しましたが、まだ文字化けしていたので、テーブル形式を使用しました)

ファイルの先頭:

<spanmicrosoft yahei><span> 1</span><span>$struserdata</span> = Eof
<span> 2</span>          3         xmlns:x="urn:schemas-microsoft-com:office:excel"
<span> 4</span>         xmlns="http://www.w3.org/TR/REC-html40">
<span> 5</span><span> 6</span>         span>PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<span> 7</span>         
<span> 8</span>         
<span> 9</span>             <meta http-equiv="Content-type" c>
<span>10</span>         <style>
<span>11         </style>
<span>12</span>         
<span>13</span>         
<span>14</span>         <div align="center" x:publishsource="Excel">
<span>15</span><span>16</span>         <table x:str border="1" cellpadding="0" cellspacing="0" width="100%">
<span>17</span> Eof;<p> コードを表示 <spanmicrosoft yahei></spanmicrosoft></p>
<p> ファイルの終わり: <spanmicrosoft yahei></spanmicrosoft></p> <div><spanmicrosoft yahei><img src="/static/imghwm/default1.png" data-src="http://image.codes51.com/Article/image/20150810/20150810094650_1025.gif?x-oss-process=image/resize,p_40" class="lazy" alt=""><img src="/static/imghwm/default1.png" data-src="http://image.codes51.com/Article/image/20150810/20150810094650_3213.gif?x-oss-process=image/resize,p_40" class="lazy" alt=""><pre class="brush:php;toolbar:false"><spanmicrosoft yahei><span>1</span><span>$struserdata</span> = Eof
<span>2</span>         </spanmicrosoft>

4 5 6 Eof;

コードを表示

もちろん、ファイルの途中には tr td タグがいくつかあります。

3. プログラムをバックグラウンドで実行します

シナリオ:

ユーザーがクリックして Excel を生成すると、プログラムがバックグラウンドで実行されます。生成が完了するまで待つ必要がなく、他の操作を実行できます ;

ダウンロードページでファイル生成の進行状況とダウンロードできるかどうかを確認できます

アイデア:

をクリックします。 Excel を生成してダウンロードページを表示する ---> show_download メソッド

Excel を生成する - --> create_excel メソッド

show_download メソッドは create_excel メソッドを呼び出します。コマンドラインを使用してプログラムを実行します。
php コマンドラインを使用して、パラメータを create_excel メソッドに渡します。
<spanmicrosoft yahei>1// $cmd = "/usr/bin/php /home/xxx/xxx.php " . $strjoin . " >/dev/null & ";
2 // $a=exec($cmd, $out, $returndata);345$command = "/usr/bin/php ".STATISTIC_EXPORT_SCRIPT_DIR."xxx.php " . "'" .$strjoin ."'". " " . $uid . " ". $action ." & ";
6$process = proc_open($command, array(),$pipes); 
7$var = proc_get_status($process); 
8proc_close($process);
9$pid = intval($var['pid'])+1;</spanmicrosoft>
そして、create_excel メソッド内で:

次のコードを入力する必要があります:

<spanmicrosoft yahei><span>1</span><span>set_time_limit</span>(0); <span>//</span><span>取消脚本运行时间的超时上限</span><span>2</span><span>3</span><span>ignore_user_abort</span>(<span>TRUE</span>); <span>//</span><span>后台运行,不受用户关闭浏览器的影响</span></spanmicrosoft>

関連する API を呼び出してデータを取得します:

<spanmicrosoft yahei><span>1</span><span>$statistic</span> = <span>call_user_func</span>(<span>array</span>('shellscript','get_result'),<span>$url</span>,<span>$params</span><span>);
</span><span>2</span><span>if</span>(!<span>is_object</span>(<span>$statistic</span>) || !<span>isset</span>(<span>$statistic</span>->data-><span>items)){
</span><span>3</span><span>usleep</span>(400000);<span>//</span><span>停止400毫秒</span><span>4</span><span>$statistic</span> = <span>call_user_func</span>(<span>array</span>('shellscript','get_result'),<span>$url</span>,<span>$params</span><span>);
</span><span>5</span> }</spanmicrosoft>

4. ファイル生成の進行状況を表示します

ただし、対応するファイルの生成進行状況を表示する方法、およびファイルが生成されているかどうかを確認する方法生成されたのか？

ここで、私が使用する方法は、データファイル data.xsl を書き込むときに、各データファイルが一時的に flag_data.xsl と呼ばれる、対応するファイル進行状況ファイルを生成するというものです。

アイデア:

第一次请求api的时候，根据返回的total总数，以及pagesize，确定要请求的次数count;

这样便可知道要请求api的次数（分页请求api），在写入数据文件的同时，同时写入进度文件flag_data.xsl;
数据格式大约是(以逗号分割)
1,5
2,5
...

然后显示文件进度的时候，读取进度文件，这样变可知道数据文件大体的进度

前端js处理时，几秒读取一次相应的方法（如果都100%进度，可停止请求方法），从而实现动态查看文件的生成进度

查看文件的进度方法：

<spanmicrosoft yahei><span> 1</span><span>public</span><span>function</span><span> execscript_process(){
</span><span> 2</span><span>$this</span>->load->library('smarty'<span>);
</span><span> 3</span><span>$file_arr_str</span> = <span>array</span><span>();
</span><span> 4</span><span>$file_arr_process</span> = <span>array</span><span>();
</span><span> 5</span><span>$file_arr_name</span> = <span>array</span><span>();
</span><span> 6</span><span>$file_arr</span> = <span>array</span><span>();
</span><span> 7</span><span>$refresh_flag</span> = 'yes'<span>;
</span><span> 8</span><span>$uid</span> = <span>$_REQUEST</span>['uid'<span>];
</span><span> 9</span><span>$url_dir</span> = STATISTIC_EXPORT_FILE_DIR.<span>$uid</span> .'/';<span>//</span><span>@todo</span><span>10</span><span>if</span>(!<span>is_dir</span>(<span>$url_dir</span><span>)){
</span><span>11</span>             @<span>mkdir</span>(<span>$url_dir</span>,0777<span>);
</span><span>12</span><span>        }
</span><span>13</span><span>$files</span> = <span>scandir</span>(<span>$url_dir</span><span>);
</span><span>14</span><span>15</span><span>if</span>(!<span>empty</span>(<span>$files</span><span>)){
</span><span>16</span><span>foreach</span> (<span>$files</span><span>as</span><span>$key</span> => <span>$value</span><span>) {
</span><span>17</span><span>if</span>(<span>$value</span>!='.' && <span>$value</span>!='..'<span>){
</span><span>18</span><span>if</span>(<span>substr</span>(<span>$value</span>, 0 , 5)=="flag_"<span>){
</span><span>19</span><span>$file_size</span> = <span>filesize</span>(<span>$url_dir</span> . <span>$value</span><span>);
</span><span>20</span><span>if</span>(!<span>empty</span>(<span>$file_size</span><span>)){
</span><span>21</span><span>$fhandle</span> = <span>fopen</span>(<span>$url_dir</span> . <span>$value</span>, 'rb+'<span>);
</span><span>22</span><span>fseek</span>(<span>$fhandle</span>, -1,<span> SEEK_END);
</span><span>23</span><span>$fstr</span> = ''<span>;
</span><span>24</span><span>while</span>((<span>$c</span> = <span>fgetc</span>(<span>$fhandle</span>)) !== <span>false</span><span>) {
</span><span>25</span><span>if</span>(<span>$c</span> == "\n" && <span>$fstr</span>) <span>break</span><span>;
</span><span>26</span><span>$fstr</span> = <span>$c</span> . <span>$fstr</span><span>;
</span><span>27</span><span>fseek</span>(<span>$fhandle</span>, -2,<span> SEEK_CUR);
</span><span>28</span><span>                            }
</span><span>29</span><span>fclose</span>(<span>$fhandle</span><span>);
</span><span>30</span><span>$fstr</span> = <span>trim</span>(<span>$fstr</span><span>);
</span><span>31</span><span>$fstr_arr_str</span> = <span>explode</span>(',', <span>$fstr</span><span>);
</span><span>32</span><span>$file_arr_process</span>[] = 100 * <span>number_format</span>(<span>$fstr_arr_str</span>[0]/<span>$fstr_arr_str</span>[1],2).'%'<span>;
</span><span>33</span><span>$file_arr_name</span>[] = <span>substr</span>(<span>$value</span>,5<span>);
</span><span>34</span><span>                         }
</span><span>35</span><span>                    }
</span><span>36</span><span>                }
</span><span>37</span><span>            }
</span><span>38</span><span>39</span><span>foreach</span> (<span>$file_arr_process</span><span>as</span><span>$key</span> => <span>$value</span><span>) {
</span><span>40</span><span>if</span>(<span>$value</span> != '100%'<span>){
</span><span>41</span><span>$refresh_flag</span> = 'no'<span>;
</span><span>42</span><span>break</span><span>;
</span><span>43</span><span>                }
</span><span>44</span><span>            }
</span><span>45</span><span>        }
</span><span>46</span><span>47</span><span>$file_arr</span> = <span>array</span><span>(
</span><span>48</span>             'process' => <span>$file_arr_process</span>,
<span>49</span>             'name' => <span>$file_arr_name</span>,
<span>50</span>             'refresh_flag' => <span>$refresh_flag</span><span>51</span><span>            );
</span><span>52</span><span>$file_arr_json</span> = json_encode(<span>$file_arr</span><span>);
</span><span>53</span><span>echo</span><span>$file_arr_json</span><span>;
</span><span>54</span>     }</spanmicrosoft>

View Code

五、下载文件

文件的下载就好说了，既然已经都生成成功，下载的方法如下：

<spanmicrosoft yahei><span> 1</span><span>public</span><span>function</span><span> execscript_download(){
</span><span> 2</span><span>$filename</span> = <span>$_REQUEST</span>['filename'<span>];
</span><span> 3</span><span>$uid</span> = <span>$_REQUEST</span>['uid'<span>];
</span><span> 4</span><span>$file_dir</span> = STATISTIC_EXPORT_FILE_DIR.<span>$uid</span>.'/'.<span>$filename</span><span>;
</span><span> 5</span><span>if</span> (!<span>file_exists</span>(<span>$file_dir</span><span>)){
</span><span> 6</span><span>header</span>("Content-type: text/html; charset=utf-8"<span>);
</span><span> 7</span><span>echo</span> "File not found!"<span>;
</span><span> 8</span><span>exit</span><span>; 
</span><span> 9</span>         } <span>else</span><span> {
</span><span>10</span><span>ini_set</span>("memory_limit","500M"<span>); 
</span><span>11</span><span>header</span>('Content-Description: File Transfer'<span>);
</span><span>12</span><span>header</span>('Content-Type: application/octet-stream'<span>);
</span><span>13</span><span>header</span>('Content-Disposition: attachment; filename='.<span>basename</span>(<span>$file_dir</span><span>));
</span><span>14</span><span>header</span>('Content-Transfer-Encoding: binary'<span>);
</span><span>15</span><span>header</span>('Expires: ' . <span>gmdate</span>('D, d M Y H:i:s') . ' GMT'<span>);
</span><span>16</span><span>header</span>('Cache-Control: must-revalidate,post-check=0, pre-check=0'<span>);
</span><span>17</span><span>header</span>('Pragma: public'<span>);
</span><span>18</span><span>header</span>('Content-Length: ' . <span>filesize</span>(<span>$file_dir</span><span>));
</span><span>19</span><span>readfile</span>(<span>$file_dir</span><span>);
</span><span>20</span><span>        }
</span><span>21</span><span>22</span>     }</spanmicrosoft>

六、上线后出现的问题

本地本来已经测试完毕，可上线后，却出现了奇怪的问题；

现象描述：

当在后台点击生成文件，跳转到下载页的时候，因为下载页是显示文件进度的页面，
竟然出现有时候有刚刚点击的文件进度，有时候没有，就感觉没有生成相应的文件一样；

解决方法：

因为数据文件和进度文件都是生成在程序的某个文件夹file中，所以读取的时候都是读取的文件夹下的文件，从而判断显示进度；

后面才知道，由于后台程序有两台服务器，导致读取以及下载的时候找不到相应的文件夹，两个服务器相应的文件夹弄个共享目录就可以了

七、相应的后续优化

由于下载的文件多了，导致文件夹下的文件越来越多，而原来生成的文件是没有价值的，所以加了个定期删除文件的功能，只保留近七天的文件

当然可以用crontab，只不过我比较懒，是在点击生成文件的时候，判断了一下文件夹中的过期文件，从而删除

<spanmicrosoft yahei><span> 1</span><span>public</span><span>function</span><span> execscript_process_show(){
</span><span> 2</span><span>$this</span>->load->library('smarty'<span>);
</span><span> 3</span><span>$uid</span> = <span>$_REQUEST</span>['uid'<span>];
</span><span> 4</span><span>$url_dir</span> = STATISTIC_EXPORT_FILE_DIR.<span>$uid</span> .'/';<span>//</span><span>@todo</span><span> 5</span><span>if</span>(!<span>is_dir</span>(<span>$url_dir</span><span>)){
</span><span> 6</span>             @<span>mkdir</span>(<span>$url_dir</span>,0777<span>);
</span><span> 7</span><span>        }        
</span><span> 8</span><span>$files</span> = <span>scandir</span>(<span>$url_dir</span><span>);
</span><span> 9</span><span>if</span>(!<span>empty</span>(<span>$files</span><span>)){
</span><span>10</span><span>foreach</span> (<span>$files</span><span>as</span><span>$key</span> => <span>$value</span><span>) {
</span><span>11</span><span>if</span>(<span>$value</span>!='.' && <span>$value</span>!='..'<span>){
</span><span>12</span><span>foreach</span> (<span>$files</span><span>as</span><span>$key</span> => <span>$value</span><span>) {
</span><span>13</span><span>if</span>(<span>$value</span>!='.' && <span>$value</span>!='..'<span>){
</span><span>14</span><span>if</span>(<span>substr</span>(<span>$value</span>, 0 , 5)!="flag_"<span>){
</span><span>15</span><span>$filenamedate</span> = <span>substr</span>(<span>$value</span>, 0,10<span>);
</span><span>16</span><span>$today</span> = <span>date</span>('Y-m-d',<span>time</span><span>());
</span><span>17</span><span>$filenamedate</span> = <span>date</span>('Y-m-d',<span>strtotime</span>(<span>$filenamedate</span>)+(STATISTIC_FILE_EXPIRE_DAY-1)*24*3600<span>);
</span><span>18</span><span>if</span>(<span>$today</span>><span>$filenamedate</span>){<span>//</span><span>文件过期</span><span>19</span>                                     @<span>unlink</span>(<span>$url_dir</span> . <span>$value</span><span>);
</span><span>20</span>                                     @<span>unlink</span>(<span>$url_dir</span> . 'flag_' . <span>$value</span><span>);
</span><span>21</span><span>                                }
</span><span>22</span><span>                            }
</span><span>23</span><span>                        }
</span><span>24</span><span>                    }                    
</span><span>25</span><span>                }
</span><span>26</span><span>            }
</span><span>27</span><span>        }
</span><span>28</span><span>29</span><span>$this</span>->smarty->assign('uid',<span>$uid</span><span>);
</span><span>30</span><span>$this</span>->smarty->display('interact/statistic/execscript.tpl'<span>);
</span><span>31</span>     }</spanmicrosoft>

八、后记

大文件的导出大体就是这个样子，欢迎大家吐槽，共同交流；

当时在用命令行执行方法的时候，也参考了一下相应的资料，记录一下；

<spanmicrosoft yahei>http://blog.csdn.net/yysdsyl/article/details/4636457

http://www.codesky.net/article/201202/163385.html

http://www.cnblogs.com/zdz8207/p/3765567.html

http://blog.163.com/mojian20040228@126/blog/static/4112219320097300922992/

http://php.net/manual/en/features.commandline.php

http://blog.csdn.net/yangjun07167/article/details/5603425

http://blog.csdn.net/yunsongice/article/details/5445448

http://www.cppblog.com/amazon/archive/2011/12/01/161281.aspx

http://blog.51yip.com/tag/proc_open

http://www.justwinit.cn/post/1418/

http://limboy.me/tech/2010/12/05/php-async.html</spanmicrosoft>

以上就介绍了我所经历的大文件数据导出（后台执行,自动生成），包括了方面的内容，希望对PHP教程有兴趣的朋友有所帮助。

声明

この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

PHP対Python：違いを理解しますApr 11, 2025 am 12:15 AM

PHP and Python each have their own advantages, and the choice should be based on project requirements. 1.PHPは、シンプルな構文と高い実行効率を備えたWeb開発に適しています。 2。Pythonは、簡潔な構文とリッチライブラリを備えたデータサイエンスと機械学習に適しています。

PHP：それは死にかけていますか、それとも単に適応していますか？Apr 11, 2025 am 12:13 AM

PHPは死にかけていませんが、常に適応して進化しています。 1）PHPは、1994年以来、新しいテクノロジーの傾向に適応するために複数のバージョンの反復を受けています。 2）現在、電子商取引、コンテンツ管理システム、その他の分野で広く使用されています。 3）PHP8は、パフォーマンスと近代化を改善するために、JITコンパイラおよびその他の機能を導入します。 4）Opcacheを使用してPSR-12標準に従って、パフォーマンスとコードの品質を最適化します。

PHPの未来：適応と革新Apr 11, 2025 am 12:01 AM

PHPの将来は、新しいテクノロジーの傾向に適応し、革新的な機能を導入することで達成されます。1）クラウドコンピューティング、コンテナ化、マイクロサービスアーキテクチャに適応し、DockerとKubernetesをサポートします。 2）パフォーマンスとデータ処理の効率を改善するために、JITコンパイラと列挙タイプを導入します。 3）パフォーマンスを継続的に最適化し、ベストプラクティスを促進します。

PHPの抽象クラスまたはインターフェイスに対して、いつ特性を使用しますか？Apr 10, 2025 am 09:39 AM

PHPでは、特性は方法が必要な状況に適していますが、継承には適していません。 1）特性により、クラスの多重化方法が複数の継承の複雑さを回避できます。 2）特性を使用する場合、メソッドの競合に注意を払う必要があります。メソッドの競合は、代替およびキーワードとして解決できます。 3）パフォーマンスを最適化し、コードメンテナビリティを改善するために、特性の過剰使用を避け、その単一の責任を維持する必要があります。

依存関係噴射コンテナ（DIC）とは何ですか？また、なぜPHPで使用するのですか？Apr 10, 2025 am 09:38 AM

依存関係噴射コンテナ（DIC）は、PHPプロジェクトで使用するオブジェクト依存関係を管理および提供するツールです。 DICの主な利点には、次のものが含まれます。1。デカップリング、コンポーネントの独立したもの、およびコードの保守とテストが簡単です。 2。柔軟性、依存関係を交換または変更しやすい。 3.テスト可能性、単体テストのために模擬オブジェクトを注入するのに便利です。

通常のPHPアレイと比較して、SPL SPLFIXEDARRAYとそのパフォーマンス特性を説明してください。Apr 10, 2025 am 09:37 AM

SplfixedArrayは、PHPの固定サイズの配列であり、高性能と低いメモリの使用が必要なシナリオに適しています。 1）動的調整によって引き起こされるオーバーヘッドを回避するために、作成時にサイズを指定する必要があります。 2）C言語アレイに基づいて、メモリと高速アクセス速度を直接動作させます。 3）大規模なデータ処理とメモリに敏感な環境に適していますが、サイズが固定されているため、注意して使用する必要があります。

PHPは、ファイルを安全に処理する方法をどのように処理しますか？Apr 10, 2025 am 09:37 AM

PHPは、$ \ _ファイル変数を介してファイルのアップロードを処理します。セキュリティを確保するための方法には次のものが含まれます。1。アップロードエラー、2。ファイルの種類とサイズを確認する、3。ファイル上書きを防ぐ、4。ファイルを永続的なストレージの場所に移動します。

Null Coulescingオペレーター（??）およびNull Coulescing Assignment Operator（?? =）とは何ですか？Apr 10, 2025 am 09:33 AM

JavaScriptでは、nullcoalescingoperator（??）およびnullcoalescingsignmentoperator（?? =）を使用できます。 1.？？最初の非潜水金または非未定されたオペランドを返します。 2.？？これらの演算子は、コードロジックを簡素化し、読みやすさとパフォーマンスを向上させます。

See all articles