Barisan gilir Laravel Excel memakan terlalu banyak RAM

Question

Saya telah menyediakan baris gilir Laravel untuk membaca fail excel menggunakan Laravel excel anda dan ia berfungsi hebat untuk fail kecil.

Tetapi untuk fail besar (100+mb) dan 400k+ rekod, ia mengambil masa terlalu lama dan menggunakan hampir 40GB RAM pelayan.

Saya telah menyediakan penyelia untuk menjalankan perintah queue:work. Memori pelayan saya ialah 60GB. Untuk fail kecil semuanya berfungsi dengan baik, tetapi untuk fail besar ia tidak berfungsi.

Saya juga menyemak masa pertanyaan menggunakan teleskop tetapi tiada pertanyaan mengambil masa yang lama.

Answer 1

Buat masa ini, tiada jawapan langsung untuk soalan anda. Banyak bergantung pada hasil sasaran anda. Anda perlu merangka cara anda sendiri untuk menyelesaikannya.

Salah satu kebimbangan terbesar saya ialah memotong atau membahagikan fail excel yang besar dan meletakkannya dalam baris gilir. Mungkin anda boleh memanfaatkan kumpulan kerja Laravel.

Satu lagi perkara yang anda boleh perkenalkan ialah sistem perkhidmatan mikro di mana tugas berat ini akan dilakukan oleh mesin lain yang lebih baik.

Tetapi seperti yang saya katakan, tiada penyelesaian tunggal untuk masalah seperti ini. Anda perlu memikirkan perkara ini sendiri.

Answer 2

Untuk semua orang yang menghadapi masalah seperti ini, saya syorkan menggunakan Spout. Ia berfungsi seperti azimat. Saya mencuba 3 perkhidmatan PHP untuk ini dan pada akhirnya hanya muncung yang berfungsi.

https://opensource.box.com/spout/

https://github.com/box/spout