搜尋
首頁後端開發php教程php如何非同步產生excel檔案並保存到伺服器

先說說我目前的需求和困境吧:

  • 1.導出訂單這個功能相信大家都不陌生,資料量大,業務複雜。現在產品要導出一個月的數據,大概2w條左右,查詢介面呼叫的是java提供的api。

  • 2.查詢2000條資料該介面需要30+秒,而伺服器的逾時時間是30秒,因此逾時在所難免。 1w條資料每1000個一次,單一curl請求,耗時60-78秒,curl_multi請求,45.78-52秒。

  • 3.此時並沒有做完業務邏輯,用戶的資訊需要在返回的結果中根據uid在此查詢資料庫,某些字段還需要做判斷,因此,需要等待rest結果並處理邏輯。

  • 4.處理的資料結果,經過遍歷之後組裝到excel單元格,佔用大量記憶體。

現在說說我自己的想法:

  • 1.客戶端發起「匯出」動作,服務傳送查詢操作,並產生excel檔案儲存到伺服器端。

  • 2.在客戶端發出動作之後,最好立即返回,不等待結果回饋客戶,直接告訴客戶,半個小時之後再去下載。

  • 3.下載直接從伺服器上拉去產生的excel檔案。

我的困惑:

如何做到客戶發起請求並立即返回,還要伺服器做業務邏輯,處理查詢,字段組裝等過程?請各位大神幫我指點一二,謝謝你們!

補充一點:
原本想使用cron job的,但是東西越來越多,伺服器並不是很寬裕,上面部署這很多服務,這些事自己內部使用的,效率不要求很高。

因為app端顯示的很多東西都是定時任務,例如商品加精等,太多了,所以,目前不想使用cron job。而且在java程式碼中使用spring的task執行很多任務。

回覆內容:

先說說我目前的需求和困境吧:

  • 1.導出訂單這個功能相信大家都不陌生,資料量大,業務複雜。現在產品要導出一個月的數據,大概2w條左右,查詢介面呼叫的是java提供的api。

  • 2.查詢2000條資料該介面需要30+秒,而伺服器的逾時時間是30秒,因此逾時在所難免。 1w條資料每1000個一次,單一curl請求,耗時60-78秒,curl_multi請求,45.78-52秒。

  • 3.此時並沒有做完業務邏輯,用戶的資訊需要在返回的結果中根據uid在此查詢資料庫,某些字段還需要做判斷,因此,需要等待rest結果並處理邏輯。

  • 4.處理的資料結果,經過遍歷之後組裝到excel單元格,佔用大量記憶體。

現在說說我自己的想法:

  • 1.客戶端發起「匯出」動作,服務傳送查詢操作,並產生excel檔案儲存到伺服器端。

  • 2.在客戶端發出動作之後,最好立即返回,不等待結果回饋客戶,直接告訴客戶,半個小時之後再去下載。

  • 3.下載直接從伺服器上拉去產生的excel檔案。

我的困惑:

如何做到客戶發起請求並立即返回,還要伺服器做業務邏輯,處理查詢,字段組裝等過程?請各位大神幫我指點一二,謝謝你們!

補充一點:
原本想使用cron job的,但是東西越來越多,伺服器並不是很寬裕,上面部署這很多服務,這些事自己內部使用的,效率不要求很高。

因為app端顯示的很多東西都是定時任務,例如商品加精等,太多了,所以,目前不想使用cron job。而且在java程式碼中使用spring的task執行很多任務。

2種,一種就是用腳本去跑。還有一種就是接收到前端請求之後直接回傳或讓它逾時,php可以繼續執行的顯示設定腳本set_time_limit(0);,php-fpm的話可以fastcgi_finish_request(),返回之後繼續執行,apache可以設定ignore_user_abort( );

不過後面一種方式php-fpm的話會阻塞php接收請求,有可能導致正常用戶無法訪問網站,因為那個是隨機分配的,如果nginx連接到那個長時間的進程的就阻塞了。
建議還是用php腳本的方式來執行,可以使用佇列,也可以使用shell去呼叫php腳本來執行

可以透過佇列導出
可以滿足你的需求,下圖為我的導出php如何非同步產生excel檔案並保存到伺服器

或是你也可以選擇簡單點的,用Linux規劃任務執行

前台提交導出請求,你將導出的請求添加到資料庫任務表裡,並返回給客戶端正在執行導出等信息,然後linux計劃任務對任務表查詢到新任務並進行導出,導出完成後修改當前任務為已完成,這應該不是特別複雜了

同學,你聽過cron job 麼?

你可以用分散式任務佇列
比如說gearman, rabbitmq 非同步的處理

為啥不用天生非同步的nodejs實作呢

陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
解釋負載平衡如何影響會話管理以及如何解決。解釋負載平衡如何影響會話管理以及如何解決。Apr 29, 2025 am 12:42 AM

負載均衡會影響會話管理,但可以通過會話複製、會話粘性和集中式會話存儲解決。 1.會話複製在服務器間複製會話數據。 2.會話粘性將用戶請求定向到同一服務器。 3.集中式會話存儲使用獨立服務器如Redis存儲會話數據,確保數據共享。

說明會話鎖定的概念。說明會話鎖定的概念。Apr 29, 2025 am 12:39 AM

Sessionlockingisatechniqueusedtoensureauser'ssessionremainsexclusivetooneuseratatime.Itiscrucialforpreventingdatacorruptionandsecuritybreachesinmulti-userapplications.Sessionlockingisimplementedusingserver-sidelockingmechanisms,suchasReentrantLockinJ

有其他PHP會議的選擇嗎?有其他PHP會議的選擇嗎?Apr 29, 2025 am 12:36 AM

PHP會話的替代方案包括Cookies、Token-basedAuthentication、Database-basedSessions和Redis/Memcached。 1.Cookies通過在客戶端存儲數據來管理會話,簡單但安全性低。 2.Token-basedAuthentication使用令牌驗證用戶,安全性高但需額外邏輯。 3.Database-basedSessions將數據存儲在數據庫中,擴展性好但可能影響性能。 4.Redis/Memcached使用分佈式緩存提高性能和擴展性,但需額外配

在PHP的上下文中定義'會話劫持”一詞。在PHP的上下文中定義'會話劫持”一詞。Apr 29, 2025 am 12:33 AM

Sessionhijacking是指攻擊者通過獲取用戶的sessionID來冒充用戶。防範方法包括:1)使用HTTPS加密通信;2)驗證sessionID的來源;3)使用安全的sessionID生成算法;4)定期更新sessionID。

PHP的完整形式是什麼?PHP的完整形式是什麼?Apr 28, 2025 pm 04:58 PM

文章討論了PHP,詳細介紹了其完整形式,在We​​b開發中的主要用途,與Python和Java的比較以及對初學者的學習便利性。

PHP如何處理形式數據?PHP如何處理形式數據?Apr 28, 2025 pm 04:57 PM

PHP使用$ \ _ post和$ \ _獲取超級全局的php處理數據,並通過驗證,消毒和安全數據庫交互確保安全性。

PHP和ASP.NET有什麼區別?PHP和ASP.NET有什麼區別?Apr 28, 2025 pm 04:56 PM

本文比較了PHP和ASP.NET,重點是它們對大規模Web應用程序,性能差異和安全功能的適用性。兩者對於大型項目都是可行的,但是PHP是開源和無關的,而ASP.NET,

PHP是對病例敏感的語言嗎?PHP是對病例敏感的語言嗎?Apr 28, 2025 pm 04:55 PM

PHP的情況敏感性各不相同:功能不敏感,而變量和類是敏感的。最佳實踐包括一致的命名和使用對案例不敏感的功能進行比較。

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具

mPDF

mPDF

mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具