搜尋

首頁  >  文章  >  資料庫  >  一文來聊一聊MySQL HeatWave

一文來聊一聊MySQL HeatWave

WBOY
WBOY轉載
2023-01-24 07:30:011946瀏覽

這篇文章為大家帶來了關於MySQL的相關知識，其中主要介紹了關於MySQL HeatWave的相關內容，MySQL HeatWave 是一個內建高效能記憶體查詢加速器的MySQL 雲端服務；借助該服務，我們無需對目前應用程式進行任何更改，即可將混合工作負載的MySQL 效能提高數個量級；下面一起來看一下，希望對大家有幫助。

一文來聊一聊MySQL HeatWave

MySQL 作為全球最受歡迎的資料庫，已在交易場景叱吒風雲多年。在2020 年底，OCI（Oracle Cloud Infrastructure）推出了一個黑科技插件，它彌補了MySQL 在分析場景的短板，Oracle 官方稱它比Aurora 快1400 倍，比Redshift 快6.5 倍，而且還能以二分之一的成本完成這些工作，它就是MySQL HeatWave。

MySQL HeatWave 簡介

MySQL HeatWave 是一個內建高效能記憶體查詢加速器的 MySQL 雲端服務。借助該服務，我們無需對目前應用進行任何更改，即可將混合工作負載的 MySQL 效能提高數個量級。

相比傳統的分析場景，MySQL HeatWave 可以讓使用者無需再使用單獨的分析資料庫、單獨的機器學習 (ML) 工具以及提取、轉換和載入（ETL）複製。同時，透過 MySQL HeatWave 機器學習，開發人員和資料分析師可以在 MySQL HeatWave 中建置、訓練、部署和解釋機器學習模型，無需將資料遷移到單獨的機器學習服務中。

目前 MySQL HeatWave 可在 OCI（Oracle Cloud Infrastructure）、AWS（Amazon Web Services）和 Microsoft Azure 上使用。


MySQL HeatWave 可以附加到 MDS（MySQL Database Service）來支援分析類別查詢，它不會暴露給應用程式。 MySQL HeatWave 的資料庫是以列存形式儲存在記憶體當中。

簡單了解MySQL HeatWave，先了解以下三條內容即可：

  • 使用同一個MySQL 資料庫來支援OLTP 和OLAP;

  • 資料以分區的方式儲存在記憶體；

  • 應用程式無需做任何更改 。

MySQL HeatWave 技術架構

整體架構

MySQL HeatWave 的架構如下圖所示，它以一個插件的形式存在於整個MySQL 資料庫系統當中，它不會直接面對應用程序，可以理解為MySQL HeatWave 掛在了MDS 之下，用戶無需修改原有的資料存取方式。

MySQL HeatWave 外掛程式對應著若干個 MySQL HeatWave Node。 MySQL HeatWave 的資料在記憶體中以列存的方式存儲，其持久化的資料是存放在物件儲存中，可在 Node 失效後快速完成復原。

列存

HeatWave 的資料以列存方式儲存在記憶體中，以便向量化處理，同時資料在載入到記憶體前會進行編碼和壓縮，可提高效能並減少記憶體佔用，從而降低客戶的成本。

  • 基於行存資料做水平分區，基於水平分區，可以將查詢在節點級並行執行來加速scan、join、group-by 、aggr 和top-k 等算子，同時分區規劃是與底層RAPID 客製化硬體適配的。

  • 分區內部將資料依照schema定義組織成列式存儲，以引入向量化執行，每個向量化計算的單位是16KiB 的vector，各列對應行的vector組合在一起成為chunk，每個partition 會有多個chunks。

  • 為了適合 DMS，vector 又分割為多個 tile，每 64 行組成一個tile作為資料傳輸的最小單元。

  • 為了減少記憶體的使用，所有儲存的資料都會做編碼或壓縮。

MySQL HeatWave 功能

以下內容摘自Oracle 官網，網址為https://www.php.cn/link/4228bfbd579799d63cb20810ef5c04d1

  • #一個MySQL 資料庫滿足OLTP 和OLAP 兩個需求

    • 對ETL 無依賴
    • 提供即時分析
    • 增強安全性
    • 無需修改應用程式
    • 支援MySQL 資料庫所支援的BI 和資料視覺化工具
    • 可在公有雲和使用者的資料中心使用

  • 高效能記憶體查詢加速器

    • #採用大規模擴充功能和高效能架構設計
    • 針對雲端進行了最佳化
    • 針對高交易處理量和連線進行了最佳化

  • In-database 機器學習

    • 無需額外的機器學習服務
    • 利用機器學習生命週期自動化，節省時間並減輕工作量
    • 可解釋的機器學習模型

  • #MySQL 自動駕駛

    • 自動設定
    • 自動執行緒池
    • 自動分片預測
    • #自動編碼
    • 自動查詢計畫最佳化
    • 自動資料安置

  • #MySQL 湖倉一體（beta）

    • TPC-H 效能優於同類產品
    • 快速分析所有資料
    • 可擴展的管理、處理資料架構
    • 機器學習驅動自動最佳化，提升效能並節省時間

  • 即時彈性

    • 在高峰時間始終保持穩定的高效能，成本更低且無停機時間
    • 避免過度預配實例

  • 全託管資料庫服務

    • #由MySQL 工程團隊開發、管理和提供支援
    • MySQL HeatWave 互動式控制台：管理資源、執行查詢和監視效能

  • ##進階安全性

      透過金鑰產生和數位簽章進行非對稱加密
    • 資料脫敏
    • SQL 白名單

MySQL HeatWave 運作原理

  • RAPID 引擎支援語句中相關函數;

  • #RAPID 引擎執行時間評估少於InnoDB 的執行時間。

當同時滿足以上兩個條件時，將由 RAPID 引擎，也就是 MySQL HeatWave 來處理相關業務請求。

在啟用MySQL HeatWave 外掛後，對於接收到的請求，MDS 會透過兩個條件來判斷該請求是否走RAPID 引擎，MySQL HeatWave 所使用的引擎是RAPID，在研發階段MySQL HeatWave 的名字就是“RAPID”。

MySQL HeatWave 資料載入

載入方式

對於MySQL HeatWave 的數據，可透過以下三種方式進行載入：

  1. 手動載入數據，每次載入一張表；
  2. 透過自動並行方式載入數據，透過Autopilot 的方式可並行執行，效率較高；
  3. 透過MySQL HeatWave 的控制台，以可視化的操作來完成資料加載，這種方式目前僅限在AWS 上進行操作。沒錯，這裡確實是只有 AWS 支援 MySQL HeatWave 控制台，AWS 快了 OCI 一步。

在初次資料載入時可能會耗時久一些，在完成資料載入後，MySQL HeatWave 會自動地保持與InnoDB 資料一致，這裡值得關注的是，自動同步變更資料的模式是異步的，最多可能要使用者接受200ms 的資料延遲，也就是說MDS 上的資料變更不會等待MySQL HeatWave 的回饋。

同步方式

MDS 會根據下列策略對資料進行同步：

  • 每200 ms;

  • 當變更傳輸緩衝區達到64MB 時；

  • #在MDS 中，經過DML 變更的資料被後續的HeatWave 查詢需要讀取時。

MySQL HeatWave 部署方式

公有雲

MySQL HeatWave 可支援在OCI（Oracle Cloud Infrastructure）、AWS（Amazon Web Services）和Microsoft Azure 上使用。

所需的 HeatWave 節點數取決於資料大小，OCI 和 Azure 最多支援 64 個節點。在亞馬遜網路服務（AWS）上，一個HeatWave叢集最多支援128個 節點。

混合部署

混合部署是指本地部署OLTP 雲端部署OLAP 的方式，在這種混合部署中，客戶可以使用MySQL 複製將本機MySQL 資料複製到OCI 或AWS 的MySQL HeatWave，而無需透過ETL 來滿足分析業務需求。

這種混合部署方式需要考慮資料延遲情況，在「資料載入」中已介紹，InnoDB 和HeatWave 間資料是非同步進行傳輸的，加上網路的延遲，需要考慮數據的即時性問題。據了解目前中國區沒有 MySQL HeatWave。

本地部署

OCI 支援部署在使用者的資料中心，可滿足合規要求，讓資料駐留在用戶的數據中心。這樣的部署方式具備以下特點：

  • 具有獨立的OCI 雲端區域，由Oracle 託管；

  • 滿足資料駐留在使用者資料中心的需求；

  • 滿足低延遲的需求。

MySQL HeatWave 性價比

MySQL HeatWave 和Amazon Redshift 「最快的實例」進行效能對比，對19 次TPC-H 測試結果進行幾何平均計算後，MySQL HeatWave 比Amazon Redshift 速度快2.7 倍，成本僅Amazon Redshift 的三分之一。

MySQL HeatWave 和 Amazon Redshift 「低成本執行個體」進行效能對比，MySQL HeatWave 效能上要領先 Amazon Redshift 17 倍以上，投入成本持平。


從官方公佈的性價比數據來看，相較於圖上其他幾款產品，MySQL HeatWave 性價比最高。

MySQL HeatWave 費用

在Oracle 公益教室中，我們可以了解MySQL HeatWave 的大概使用成本，對於這張圖我們只需要關注下半部分，對於2T 資料量的環境，每月的成本約為1260 美元。

其中包括了 MDS 費用、MDS 儲存的費用和 HeatWave 的費用。

MySQL HeatWave 多雲差異

OCI 和AWS

HeatWave 在OCI 和AWS 兩朵雲的Roadmap 上的差異是比較有趣的，前面已提到可視化的資料載入只能透過AWS 來完成，不只是這項能力，透過下圖來看，AWS 在使用者體驗上要優於OCI 。

(https://www.oracle.com/mysql/#roadmap)

在OCI 中需要使用控制台時，將會跳轉到AWS。

Azure

對於Azure 用戶，仍然可以使用MySQL HeatWave 服務，它是透過Azure VNET 連接OCI 的MySQL HeatWave，也就是說，實際上使用的還是OCI 的環境。

目的是為 Azure 使用者提供原生使用者體驗，私有互聯的方式將網路延遲控制在 2ms 內。

(https://www.oracle.com/cloud/azure/oracle-database-for-azure/)

總結

MySQL HeatWave 可支援在OCI（Oracle Cloud Infrastructure）、AWS（Amazon Web Services）和Microsoft Azure 上使用，也支援將OCI 部署到使用者資料中心。

啟用 MySQL HeatWave 外掛後，使用者可以透過一個 MySQL 服務來滿足業務在 TP 和 AP 的需求，而無需修改業務。透過內部流程自動完成資料同步，不需要單獨維護 ETL，可保持架構簡潔。自動駕駛（AI）和湖倉一體的能力給用戶更多期待。

MySQL HeatWave 彌補了 MySQL 在分析場景的能力，對於中小型企業有非常大的意義。

其中有兩方面不足之處，值得用戶關注：InnoDB 的儲存（擴充限制）及資料一致性問題。

擴充限制：MySQL HeatWave 可以提供擴充能力，但 MySQL InnoDB 儲存問題沒有在本質上被解決掉，InnoDB 面對大量資料的情況，仍有較大挑戰。

資料一致性：對於資料一致性需求較高的場景，需要考慮 InnoDB 到 HeatWave 的延遲問題（非同步傳輸）。

推薦學習：mysql影片教學

#

以上是一文來聊一聊MySQL HeatWave的詳細內容。更多資訊請關注PHP中文網其他相關文章！

php sql mysql 架构 for 线程 对象 异步 oracle database 数据库 etl 数据分析 https microsoft azure 自动化 数据中心
陳述：
本文轉載於：csdn.net。如有侵權，請聯絡admin@php.cn刪除
上一篇：MySQL的資料目錄（整理摘要）下一篇：MySQL的資料目錄（整理摘要）

相關文章

看更多