在同一事務資料庫中快取報告資料 VS 使用資料倉儲

Question

我們有一個 SaaS 解決方案，其中每個租用戶都有自己的 MySQL 資料庫。現在我正在設計這個SaaS系統的儀表板，它需要一些分析圖表。為了獲取圖表所需的數據，我們可以從每個租戶的資料庫中即時查詢其交易數據。並獲得更新的圖表，沒有不良性能，因為到目前為止數據量還沒有那麼大。然而，由於數據量會不斷增長，我們決定將每個公司的分析數據和交易數據分開，我們將在後台獲取圖表的分析數據，保存/緩存它們並定期更新。我的問題是：

• 在決定是否需要從一開始就包含資料倉儲和資料建模，或者只是將API 產生的圖表的分析資料快取在新表的JSON 欄位之前，我們應該考慮哪些好的問題或因素每個租戶的MYSQL 資料庫中的圖表。

Answer 1

不要進入「事實」表中的數百萬行，而是建立並維護一個總計表，然後從中取得資料。它的運行速度可能是原來的 10 倍。

由於額外的表，這確實需要更改程式碼，但這可能是值得的。

總結表

換句話說，如果資料集變得大於X，匯總表是最好的解決方案。快取不會有幫助。硬體還不夠。 JSON 只會造成妨礙。

根據一年的數據點（每秒一個）建立一年的圖表既緩慢又浪費。根據每日小計建立一年的圖表要合理得多。