Parlons de MySQL HeatWave dans un article

Cet article vous apporte des connaissances pertinentes sur MySQL, qui présente principalement le contenu pertinent sur MySQL HeatWave est un service cloud MySQL avec un accélérateur de requêtes mémoire haute performance intégré avec l'aide de ce service, nous n'avons pas besoin de le faire. modifier l'application actuelle Toute modification peut améliorer les performances de MySQL pour des charges de travail mixtes de plusieurs ordres de grandeur ;

En tant que base de données la plus populaire au monde, MySQL domine la scène commerciale depuis de nombreuses années. Fin 2020, OCI (Oracle Cloud Infrastructure) a lancé un plug-in technologique noir, qui compense les lacunes de MySQL dans les scénarios d'analyse. Les responsables d'Oracle affirment qu'il est 1 400 fois plus rapide qu'Aurora, 6,5 fois plus rapide que Redshift, et qu'il peut le faire. être divisé en deux parties. Un moyen rentable de le faire est MySQL HeatWave.

Introduction à MySQL HeatWave

MySQL HeatWave est un service cloud MySQL avec un accélérateur de requêtes en mémoire hautes performances intégré. Avec ce service, nous pouvons améliorer les performances de MySQL pour des charges de travail mixtes de plusieurs ordres de grandeur sans apporter aucune modification à nos applications actuelles.

Par rapport aux scénarios d'analyse traditionnels, MySQL HeatWave élimine le besoin pour les utilisateurs d'utiliser une base de données d'analyse distincte, des outils d'apprentissage automatique (ML) distincts et la réplication d'extraction, de transformation et de chargement (ETL). Parallèlement, avec MySQL HeatWave Machine Learning, les développeurs et les analystes de données peuvent créer, former, déployer et interpréter des modèles de machine learning dans MySQL HeatWave sans avoir à migrer les données vers un service de machine learning distinct.

Actuellement, MySQL HeatWave est disponible sur OCI (Oracle Cloud Infrastructure), AWS (Amazon Web Services) et Microsoft Azure.

MySQL HeatWave peut être attaché à MDS (MySQL Database Service) pour prendre en charge les requêtes analytiques, il ne sera pas exposé aux applications. La base de données de MySQL HeatWave est stockée en mémoire sous forme de stockage en colonnes.

Pour comprendre simplement MySQL HeatWave, comprenez d'abord les trois choses suivantes :

• utilise la même base de données MySQL pour prendre en charge OLTP et OLAP

• les données sont stockées dans mémoire de manière partitionnée ;

Pas besoin d'apporter des modifications
• à l'application

  .

Architecture technique MySQL HeatWave

Architecture globaleL'architecture de MySQL HeatWave est celle illustrée dans la figure ci-dessous. Elle existe dans l'ensemble du système de base de données MySQL sous la forme d'un plug-in. pas directement face à l'application. On peut comprendre que MySQL HeatWave est bloqué sous MDS et que les utilisateurs n'ont pas besoin de modifier la méthode d'accès aux données d'origine.

Le plug-in MySQL HeatWave correspond à plusieurs nœuds MySQL HeatWave. Les données MySQL HeatWave sont stockées en mémoire sous forme de stockage de colonnes et leurs données persistantes sont stockées dans un stockage d'objets, qui peut être rapidement restauré après une panne de nœud.

Stockage en colonne

Les données HeatWave sont stockées en mémoire en mode de stockage en colonne, ce qui facilite le traitement de vectorisation. En même temps, les données sont codées et compressées avant d'être chargées dans la mémoire, ce qui peut améliorer les performances et réduire l'utilisation de la mémoire. réduisant ainsi les coûts pour les clients.

• Le partitionnement horizontal est effectué en fonction des données de stockage de lignes. Sur la base du partitionnement horizontal, les requêtes peuvent être exécutées en parallèle au niveau du nœud pour accélérer les opérateurs tels que scan, join, group-by, aggr et top-k. Dans le même temps, la planification des partitions est adaptée au matériel personnalisé RAPID sous-jacent.

• Les données sont organisées en stockage en colonnes selon la définition du schéma à l'intérieur de la partition pour introduire l'exécution de la vectorisation. L'unité de calcul de chaque vectorisation est un vecteur de 16 Ko. Les vecteurs des lignes correspondantes de chaque colonne sont combinés en morceaux. partition Il y aura plusieurs morceaux.

• Afin de s'adapter au DMS, le vecteur est divisé en plusieurs tuiles, et toutes les 64 lignes forment une tuile comme la plus petite unité de transmission de données.

• Afin de réduire l'utilisation de la mémoire, toutes les données stockées seront codées ou compressées.

Fonction MySQL HeatWave

Le contenu suivant est extrait du site officiel d'Oracle à l'adresse https://www.php.cn/link/4228bfbd579799d63cb20810ef5c04d1

• Une base de données MySQL répond à OLTP et à deux besoins de OLAP

  • Aucune dépendance à l'égard d'ETL
  • Fournit une analyse en temps réel
  • Sécurité renforcée
  • Pas besoin de modifier l'application
  • Prend en charge les outils de BI et de visualisation de données pris en charge par la base de données MySQL
  • Peut être utilisé dans les cloud publics et les centres de données utilisateur

• Accélérateur de requêtes en mémoire hautes performances

  • Conçu avec une architecture massivement évolutive et hautes performances
  • Optimisé pour le cloud
  • Optimisé pour des volumes de transactions et des connexions élevés

• Dans- apprentissage automatique de base de données

  • Aucun service d'apprentissage automatique supplémentaire requis
  • Exploitez l'automatisation du cycle de vie de l'apprentissage automatique pour gagner du temps et réduire la charge de travail
  • Modèles d'apprentissage automatique interprétables

• MySQL Autopilot

  • Configuration automatique
  • Thread automatique pool
  • Prédiction automatique des fragments
  • Encodage automatique
  • Optimisation automatique du plan de requête
  • Placement automatique des données

• MySQL Lake Warehouse Integrated (bêta)

  • Les performances TPC-H sont meilleures que celles des produits similaires
  • Rapide ly analyser toutes les données
  • Architecture évolutive de gestion et de traitement des données
  • Optimisation automatique basée sur l'apprentissage automatique, améliorer les performances et gagner du temps

• Élasticité en temps réel

  • Maintenir toujours des performances élevées et stables pendant les heures de pointe, réduire les coûts et aucun temps d'arrêt
  • Évitez le surprovisionnement des instances

• Service de base de données entièrement géré

  • Développé, géré et pris en charge par l'équipe d'ingénierie MySQL
  • Console interactive MySQL HeatWave : gérez les ressources, exécutez des requêtes et surveillez les performances

• Sécurité avancée

  • Chiffrement asymétrique avec génération de clés et signatures numériques
  • Désensibilisation des données
  • Liste blanche SQL

Comment fonctionne MySQL HeatWave

• Le moteur RAPID prend en charge les fonctions associées dans les instructions

• Le temps d'exécution du moteur RAPID est estimé inférieur au temps d'exécution d'InnoDB.

Lorsque les deux conditions ci-dessus sont remplies en même temps, le moteur RAPID, qui est MySQL HeatWave, traitera les demandes métier pertinentes.

Après avoir activé le plug-in MySQL HeatWave, pour la requête reçue, MDS utilisera deux conditions pour déterminer si la requête passe par le moteur RAPID. Le moteur utilisé par MySQL HeatWave est RAPID En phase de développement, le nom de MySQL. HeatWave est "RAPIDE".

Chargement des données MySQL HeatWave

Méthode de chargement

Pour les données MySQL HeatWave, vous pouvez les charger des trois manières suivantes :

1. Charger manuellement les données, une table à la fois
2. Par la méthode parallèle automatique Chargement ; les données peuvent être exécutées en parallèle via Autopilot, ce qui est très efficace ;
3. Chargement complet des données via des opérations visuelles via la console de MySQL HeatWave. Cette méthode n'est actuellement disponible que sur AWS. Oui, il est vrai que seul AWS prend en charge la console MySQL HeatWave, et AWS a une longueur d'avance sur OCI.

Le chargement initial des données peut prendre un certain temps. Une fois le chargement des données terminé, MySQL HeatWave restera automatiquement cohérent avec les données InnoDB. Ce qui convient de noter ici, c'est que Le mode de synchronisation automatique des modifications des données est asynchrone, pour la plupart des utilisateurs. devra peut-être accepter un délai de données de 200 ms, ce qui signifie que les modifications de données sur MDS n'attendront pas les commentaires de MySQL HeatWave.

Shonie de la Synchronisation, les Methons synchronisaient les données en fonction de la stratégie suivante:

Vevery 200 ms; doit être lu par les requêtes HeatWave ultérieures.

• Méthode de déploiement MySQL HeatWave

• Cloud public

MySQL HeatWave peut prendre en charge l'utilisation sur OCI (Oracle Cloud Infrastructure), AWS (Amazon Web Services) et Microsoft Azure.

Le nombre de nœuds HeatWave requis dépend de la taille des données, OCI et Azure prennent en charge jusqu'à 64 nœuds. Sur Amazon Web Services (AWS), un cluster HeatWave prend en charge jusqu'à 128 nœuds.

Déploiement hybride

Le déploiement hybride fait référence à la manière de déployer OLTP localement + de déployer OLAP dans le cloud. Dans ce déploiement hybride, les clients peuvent utiliser la réplication MySQL pour copier les données MySQL locales vers OCI ou MySQL HeatWave d'AWS. Il n’est pas nécessaire d’utiliser ETL pour répondre aux besoins analytiques de l’entreprise.

Cette

méthode de déploiement hybride doit prendre en compte la latence des données. Comme introduit dans « Chargement des données », les données sont transmises de manière asynchrone entre InnoDB et HeatWave. En plus du délai du réseau, la nature en temps réel des données doit être prise en compte. . Il est entendu qu'il n'existe actuellement pas de MySQL HeatWave en Chine.

Déploiement local

OCI prend en charge le déploiement dans le centre de données de l'utilisateur, qui peut répondre aux exigences de conformité et permettre aux données de résider dans le centre de données de l'utilisateur. Cette méthode de déploiement présente les caractéristiques suivantes :

Possède une zone cloud OCI indépendante, hébergée par Oracle

répond au besoin de données résidant dans le centre de données de l'utilisateur

répond au besoin de faible latence ; .
• Performance des coûts de MySQL HeatWave
  Comparaison des performances entre MySQL HeatWave et Amazon Redshift "l'instance la plus rapide". Après le calcul de la moyenne géométrique de 19 résultats de tests TPC-H, MySQL HeatWave est 2,7 fois plus rapide qu'Amazon Redshift et seulement un tiers du coût d’Amazon Redshift.

En comparant les performances des "instances à faible coût" de MySQL HeatWave et d'Amazon Redshift, MySQL HeatWave est plus de 17 fois en avance sur Amazon Redshift en termes de performances, et le coût d'investissement est le même.

À en juger par les données officielles de rentabilité, MySQL HeatWave est le plus rentable par rapport à plusieurs autres produits présentés sur la photo.

Coût de MySQL HeatWave

Dans la classe de bien-être public Oracle, nous pouvons en apprendre davantage sur le coût d'utilisation approximatif de MySQL HeatWave. Pour cette image, nous n'avons qu'à prêter attention à la moitié inférieure Pour un environnement. avec un volume de données de 2T, chacun Le coût mensuel est d'environ 1 260 $ .

Cela comprend les frais MDS, les frais de stockage MDS et les frais HeatWave.

Différence multi-cloud MySQL HeatWave

OCI et AWS

HeatWave La différence dans la feuille de route des deux cloud OCI et AWS est plus intéressante Comme mentionné précédemment, le chargement des données visuelles ne peut être effectué que via. AWS Pour compléter non seulement cette fonctionnalité, mais aussi d'après la figure suivante, AWS est meilleur qu'OCI en termes d'expérience utilisateur.

(https://www.oracle.com/mysql/#roadmap)

Lorsque vous aurez besoin d'utiliser la console dans OCI, vous passerez à AWS.

Azure

Pour les utilisateurs d'Azure, vous pouvez toujours utiliser le service MySQL HeatWave, qui est MySQL HeatWave connecté à OCI via Azure VNET. En d'autres termes, l'environnement OCI est réellement utilisé.

L'objectif est de fournir une expérience utilisateur native aux utilisateurs Azure, et la méthode d'interconnexion privée contrôle le délai du réseau dans les 2 ms.

(https://www.oracle.com/cloud/azure/oracle-database-for-azure/)

Résumé

MySQL HeatWave peut prendre en charge OCI (Oracle Cloud Infrastructure), AWS (utilisé sur Amazon Web Services) et Microsoft Azure, il prend également en charge le déploiement d'OCI dans les centres de données des utilisateurs.

Après avoir activé le plug-in MySQL HeatWave, les utilisateurs peuvent utiliser un service MySQL pour répondre aux besoins de l'entreprise en TP et AP sans modifier l'activité. La synchronisation des données est automatiquement effectuée via des processus internes, sans qu'il soit nécessaire de maintenir ETL séparément, et l'architecture peut rester simple. Les capacités de conduite autonome (IA) et de lac et entrepôt intégrés donnent aux utilisateurs plus d'attentes.

MySQL HeatWave complète la capacité de MySQL à analyser des scénarios et revêt une grande importance pour les petites et moyennes entreprises.

Il existe deux lacunes qui méritent l’attention des utilisateurs : le stockage d’InnoDB (limitations d’extension) et les problèmes de cohérence des données.

Limites d'extension : MySQL HeatWave peut fournir des capacités d'extension, mais le problème de stockage de MySQL InnoDB n'a pas été essentiellement résolu. InnoDB est toujours confronté à de grands défis face à des données massives.

Cohérence des données : pour les scénarios avec des exigences élevées en matière de cohérence des données, le problème du délai entre InnoDB et HeatWave (transmission asynchrone) doit être pris en compte.

Apprentissage recommandé : Tutoriel vidéo mysql

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!