java - mysql單表流水500W資料多維度統計的方案

Question

現在專案中有張流水錶結構大概如下
id ​​sdkVersion jarVersion countryCode imei createTime

先前的需求是按sdkVersion,jarVersion,countryCode的分組求總數和imei排重後的總數，大致sql如下:

select sdkVersion,jarVersion,countryCode,count(*),count(distinct imei) from xxx 
where createTime = 'xxxx-xx-xx'
group by sdkVersion,jarVersion,countryCode

找出前一天的所有資料然後匯總到一張表裡，結構大概如下

id ​​sdkVersion jarVersion countryCode count(*) count(distinct imei) createTime

然後現在的需求是要任意緯度的組合查詢,就是可以
group by sdkVersion
group by jarVersion
group by countryCode
group by sdkVersion,countryCode
等等各種組合，如果按以前的每日匯總方案的話就要為不同的緯度組合建立很多表，有什麼好的方案可以解決這種問題？還是用專門的統計框架可以解決的？

Answer 1

樓主可以去看看PipelineDB串流資料庫

Answer 2

apache kylin, 亞秒olap

Answer 3

每日匯總的話，實時性要求並不高，500W 記錄也還在可以處理的範圍內，視圖 + 定時計劃，可以滿足要求，不需要建造多表。
題主最好能說明一下有什麼瓶頸或痛點，畢竟 mysql 是個成熟產品，換用新銳技術有一定風險。

Answer 4

寫儲存過程,每天定時跑就行了