Eksport berjuta-juta data ke csv dengan berbilang proses dalam satu minit dan muat naik ke oss

Artikel ini membawakan anda pengetahuan yang berkaitan tentang PHP terutamanya cara mengeksport berjuta-juta data ke csv dan memuat naiknya ke oss dalam satu minit. Rakan-rakan yang berminat boleh melihatnya.

Keperluan

1. Produk harus mengeksport log berjalan pengguna tertentu pasukan tertentu ke fail csv, dan ia harus berada dalam satu fail, dan ia harus pantas dan tidak terlalu memakan masa.

Masalah

1. Log selalunya bermaksud sejumlah besar data.
2. Untuk mengimportnya ke dalam fail, walaupun jumlah data adalah besar, ia masih boleh diselesaikan tidak lebih daripada pertanyaan dalam halaman dan menulisnya ke csv.
3. Kelajuan adalah pantas dan masa yang singkat Ia juga boleh diselesaikan dengan mengeksport berbilang fail melalui berbilang proses, tetapi keperluannya adalah satu fail.

Penyelesaian

1. Pertama pertanyaan jumlah data yang akan dieksport
2. Letakkannya ke dalam baris gilir kelompok untuk memulakan berbilang pertanyaan pengguna dan tulis ke dalam berbilang csv.
3. Rekodkan laluan csv dan nama fail tertentu yang ditulis oleh setiap baris gilir semasa menghantar ke baris gilir.
4. Gunakan ciri baris gilir kelompok untuk menggabungkan berbilang csv yang direkodkan dalam langkah sebelumnya menjadi satu csv mengikut tertib apabila pelaksanaan selesai
5. Selepas penggabungan selesai, padamkan berbilang csv sebelum digabungkan. Simpan csv yang digabungkan dan muat naik ke oss

Hasil

Selepas menguji lebih daripada 500,000 data, setiap baris gilir dalam baris gilir kelompok diberi 50,000 keping data untuk diproses, dan proses selesai Ia mengambil masa kurang daripada satu minit Seberapa pantas kaedah ini bergantung pada bilangan pengguna dan proses yang boleh dimulakan oleh pelayan. Apabila saya menguji, saya menggunakan strategi automatik, dan maksimum adalah 8 pengguna yang melaksanakan pada masa yang sama .

Pembelajaran yang disyorkan: "tutorial video laravel"

Atas ialah kandungan terperinci Eksport berjuta-juta data ke csv dengan berbilang proses dalam satu minit dan muat naik ke oss. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!