php如何非同步產生excel檔案並保存到伺服器
- WBOY原創
- 2016-08-04 09:22:253197瀏覽
先說說我目前的需求和困境吧：
1.導出訂單這個功能相信大家都不陌生，資料量大，業務複雜。現在產品要導出一個月的數據，大概2w條左右，查詢介面呼叫的是java提供的api。
2.查詢2000條資料該介面需要30+秒，而伺服器的逾時時間是30秒，因此逾時在所難免。 1w條資料每1000個一次，單一curl請求，耗時60-78秒，curl_multi請求，45.78-52秒。
3.此時並沒有做完業務邏輯，用戶的資訊需要在返回的結果中根據uid在此查詢資料庫，某些字段還需要做判斷，因此，需要等待rest結果並處理邏輯。
4.處理的資料結果，經過遍歷之後組裝到excel單元格，佔用大量記憶體。
現在說說我自己的想法：
1.客戶端發起「匯出」動作，服務傳送查詢操作，並產生excel檔案儲存到伺服器端。
2.在客戶端發出動作之後，最好立即返回，不等待結果回饋客戶，直接告訴客戶，半個小時之後再去下載。
3.下載直接從伺服器上拉去產生的excel檔案。
我的困惑：
如何做到客戶發起請求並立即返回，還要伺服器做業務邏輯，處理查詢，字段組裝等過程？請各位大神幫我指點一二，謝謝你們！
補充一點：
原本想使用cron job的，但是東西越來越多，伺服器並不是很寬裕，上面部署這很多服務，這些事自己內部使用的，效率不要求很高。
因為app端顯示的很多東西都是定時任務，例如商品加精等，太多了，所以，目前不想使用cron job。而且在java程式碼中使用spring的task執行很多任務。
回覆內容：
先說說我目前的需求和困境吧：
1.導出訂單這個功能相信大家都不陌生，資料量大，業務複雜。現在產品要導出一個月的數據，大概2w條左右，查詢介面呼叫的是java提供的api。
2.查詢2000條資料該介面需要30+秒，而伺服器的逾時時間是30秒，因此逾時在所難免。 1w條資料每1000個一次，單一curl請求，耗時60-78秒，curl_multi請求，45.78-52秒。
3.此時並沒有做完業務邏輯，用戶的資訊需要在返回的結果中根據uid在此查詢資料庫，某些字段還需要做判斷，因此，需要等待rest結果並處理邏輯。
4.處理的資料結果，經過遍歷之後組裝到excel單元格，佔用大量記憶體。
現在說說我自己的想法：
1.客戶端發起「匯出」動作，服務傳送查詢操作，並產生excel檔案儲存到伺服器端。
2.在客戶端發出動作之後，最好立即返回，不等待結果回饋客戶，直接告訴客戶，半個小時之後再去下載。
3.下載直接從伺服器上拉去產生的excel檔案。
我的困惑：
如何做到客戶發起請求並立即返回，還要伺服器做業務邏輯，處理查詢，字段組裝等過程？請各位大神幫我指點一二，謝謝你們！
補充一點：
原本想使用cron job的，但是東西越來越多，伺服器並不是很寬裕，上面部署這很多服務，這些事自己內部使用的，效率不要求很高。
因為app端顯示的很多東西都是定時任務，例如商品加精等，太多了，所以，目前不想使用cron job。而且在java程式碼中使用spring的task執行很多任務。
2種，一種就是用腳本去跑。還有一種就是接收到前端請求之後直接回傳或讓它逾時，php可以繼續執行的顯示設定腳本set_time_limit(0);，php-fpm的話可以fastcgi_finish_request()，返回之後繼續執行，apache可以設定ignore_user_abort( );
不過後面一種方式php-fpm的話會阻塞php接收請求，有可能導致正常用戶無法訪問網站，因為那個是隨機分配的，如果nginx連接到那個長時間的進程的就阻塞了。
建議還是用php腳本的方式來執行，可以使用佇列，也可以使用shell去呼叫php腳本來執行
可以透過佇列導出
可以滿足你的需求，下圖為我的導出
或是你也可以選擇簡單點的，用Linux規劃任務執行
前台提交導出請求，你將導出的請求添加到資料庫任務表裡，並返回給客戶端正在執行導出等信息，然後linux計劃任務對任務表查詢到新任務並進行導出，導出完成後修改當前任務為已完成，這應該不是特別複雜了
同學，你聽過cron job 麼？
你可以用分散式任務佇列
比如說gearman, rabbitmq 非同步的處理
為啥不用天生非同步的nodejs實作呢