java - mysql talian paip tunggal 500W data penyelesaian statistik berbilang dimensi

Question

Terdapat struktur jadual aliran dalam projek sekarang, iaitu kira-kira seperti berikut
id sdkVersion jarVersion countryCode imei createTime

Keperluan sebelumnya adalah untuk mencari jumlah nombor dengan mengumpulkan sdkVersion, jarVersion, countryCode dan jumlah nombor selepas pengisihan imei adalah seperti berikut:

select sdkVersion,jarVersion,countryCode,count(*),count(distinct imei) from xxx 
where createTime = 'xxxx-xx-xx'
group by sdkVersion,jarVersion,countryCode

Ketahui semua data hari sebelumnya dan ringkaskannya ke dalam jadual secara kasar strukturnya seperti berikut

id sdkVersion jarVersion countryCode count(*) count(distinct imei) createTime

Maka permintaan semasa adalah untuk menanyakan gabungan mana-mana latitud, iaitu,
kumpulan mengikut sdkVersion
kumpulan mengikut jarVersion
kumpulan mengikut countryCode
kumpulan mengikut sdkVersion, countryCode
dan kombinasi lain, jika mengikut pelan ringkasan harian sebelumnya Kami perlukan untuk mencipta banyak jadual untuk kombinasi latitud yang berbeza Adakah terdapat sebarang penyelesaian yang baik untuk masalah ini? Atau bolehkah ia diselesaikan menggunakan rangka kerja statistik khusus?

Answer 1

Anda boleh menyemak pangkalan data penstriman PipelineDB

Answer 2

apache kylin, olap subsaat

Answer 3

Untuk ringkasan harian, keperluan masa nyata tidak tinggi dan rekod 500W masih dalam julat pemprosesan Paparan + pelan berjadual boleh memenuhi keperluan dan tidak perlu membina berbilang jadual.
Sebaik-baiknya penyoal menerangkan apakah kesesakan atau titik kesakitan yang ada, Lagipun, mysql adalah produk yang matang, dan terdapat risiko tertentu dalam beralih kepada teknologi canggih.

Answer 4

Tulis prosedur tersimpan dan jalankan secara teratur setiap hari