Cloudification des bases de données : réaliser un stockage défini par logiciel

Présentation

Le stockage défini par logiciel est la tendance de développement de l'industrie, qui peut garantir que l'accès au stockage système est géré de manière plus flexible à un niveau précis. Cet article partage la pratique de cloudisation de base de données du stockage défini par logiciel, qui a été partagée et compilée à partir du. salle de conférence jeudi dernier.

Qu'est-ce que le stockage défini par logiciel (SDS)

Le stockage défini par logiciel (SDS) est une méthode de stockage de données dans laquelle tous les travaux de contrôle liés au stockage sont placés dans un logiciel externe par rapport au matériel de stockage physique. Ce logiciel n'est pas disponible sous forme de firmware sur un périphérique de stockage, mais sur un serveur ou dans le cadre du système d'exploitation (OS) ou de l'hyperviseur.

Le stockage défini par logiciel est une tendance de développement de l'industrie, qui peut garantir que l'accès au stockage système est géré de manière plus flexible à un niveau précis et sépare les logiciels du stockage matériel, ce qui signifie qu'il peut devenir un pool partagé qui n'est pas limité par les systèmes physiques. afin d’utiliser les ressources plus efficacement. Le stockage peut également être déployé et provisionné via un logiciel et une gestion, et ses procédures de gestion peuvent être encore simplifiées grâce à une gestion automatisée basée sur des politiques.

Quelles sont les caractéristiques du stockage défini par logiciel

Extensible. Les systèmes de stockage définis par logiciel peuvent être étendus à des tailles de cluster de centaines, voire de milliers d'unités, et à mesure que la taille du cluster augmente, les performances globales du système augmentent de manière linéaire
faible coût. La tolérance automatique aux pannes et le mécanisme d'équilibrage automatique de la charge du système de stockage défini par logiciel lui permettent d'être construit sur des serveurs X86 ordinaires. De plus, la capacité d'expansion linéaire rend également très pratique l'ajout et la réduction de machines, et permet de réaliser un fonctionnement et une maintenance automatiques.
haute performance. Que ce soit pour un cluster entier ou un seul serveur, les systèmes de stockage distribué offrent des performances élevées.
Modèle d'architecture informatique traditionnelle :

Depuis longtemps, les bases de données d'architecture traditionnelle fonctionnent sur des mini-ordinateurs et un stockage SAN centralisé. Avec le développement rapide des affaires, le volume de transactions et le volume de données des systèmes d'entreprise augmentent, et les exigences en matière de capacités de traitement et de stockage des systèmes d'entreprise sont de plus en plus élevées. L'architecture traditionnelle présente une faible évolutivité, une puissance de calcul limitée et un manque sérieux de capacités d'E/S. Pour obtenir les capacités de traitement correspondantes, il est nécessaire de remplacer les mini-ordinateurs et le stockage existants par des mini-ordinateurs de configuration supérieure et un stockage haut de gamme, ce qui est techniquement nécessaire. complexe. Cher. Dans le même temps, à mesure que les équipements vieillissent, leurs performances sont de plus en plus insuffisantes pour répondre aux besoins de l'entreprise, et la transformation et la mise à niveau de l'architecture des systèmes d'entreprise sont impératives.

Quelques inconvénients de l'architecture traditionnelle :

Quantité de données : niveau M – niveau G – niveau T – > Des données massives sont en vue 

Quantité de données * nombre d'utilisateurs –> Nombre d'utilisateurs pertinent : des dizaines de milliers –> des centaines de milliers –>

La douleur des bases de données relationnelles

Les systèmes de stockage centralisés sont devenus le goulot d'étranglement de l'accès aux E/S :

1. Les nœuds de bases de données d'architecture traditionnelle nécessitent des hôtes hautes performances et sont coûteux. Pour les bases de données RAC multi-nœuds, étant donné que la bande passante de communication entre les nœuds est généralement de 1 Gbit/s, et la plus élevée est de 10 Gbit/s, la bande passante de cet ordre de grandeur fait que les capacités de traitement simultané entre les nœuds ne sont pas pleinement utilisées. Dans le même temps, les baies de disques traditionnelles sont limitées par la puissance de traitement du contrôleur et la bande passante du port FC, et le débit d'E/S n'est généralement que de quelques centaines de Mo/s. Lorsque la base de données nécessite un grand nombre de lectures et d'écritures sur disque, les E/S. la consommation prend trop de temps.

2. Les petits ordinateurs équipés d'un stockage haut de gamme sont chers, relativement fermés et ont une faible évolutivité : l'architecture traditionnelle a une faible évolutivité du stockage, et lorsque la capacité augmente, les performances ne s'améliorent pas en conséquence. Dans le même temps, le coût d’expansion est élevé et le cycle d’expansion est long.

3. Les systèmes complexes apportent de la complexité au déploiement, à l'exploitation, à l'exploitation, à la maintenance et à la gestion : dans le cadre de l'architecture traditionnelle, il est nécessaire de comprendre les connaissances et les compétences multidimensionnelles en matière d'exploitation et de maintenance, telles que la base de données, l'Uix, le stockage, etc. ce qui est difficile pour le personnel d'exploitation et de maintenance. Les exigences sont extrêmement élevées et le déploiement et l'exploitation, l'exploitation, la maintenance et la gestion sont extrêmement complexes.

Tendances de développement des infrastructures informatiques

L'évolution de l'architecture informatique de la cheminée vers le cloud

L'architecture de stockage informatique à deux couches présente les défauts suivants :

Système de stockage centralisé

Limite d'accès IO, coût d'extension élevé

Déploiement, exploitation et maintenance complexes

Incapable de répondre rapidement aux besoins en ressources du personnel informatique

Avantages de l'architecture cloud hautes performances et haute disponibilité :

Haute performance

Expansion dynamique élastique, flexible et multidimensionnelle
Unifiez la gestion de l’exploitation et de la maintenance pour améliorer la reprise après sinistre et la protection des données
Cela entraînera des améliorations des performances de l’infrastructure informatique et des performances du processeur de la plate-forme x86. Au cours des 10 dernières années, la vitesse de traitement du processeur a augmenté de 8 à 10 fois ; la vitesse de traitement de la DRAM a augmenté de 7 à 9 fois.

Stockage et développement de réseau Compte tenu du développement de l'infrastructure informatique et de l'infrastructure informatique, zData, une solution de stockage distribué basée sur des serveurs x86, utilisant des cartes mémoire flash et des commutateurs Infiniband, qui peut permettre à Oracle RAC d'atteindre une puissance de traitement et un débit d'E/S élevés, est apparue avec le temps. exiger.

Le stockage défini par logiciel zData est basé sur des serveurs PC x86. Tout en améliorant considérablement les performances du système et en maintenant l'évolutivité du système et les capacités de réponse agiles, le coût est considérablement réduit par rapport à l'architecture traditionnelle. Le logiciel de stockage distribué zData Light Storage peut prendre en charge des milliers de nœuds et la capacité du pool de stockage peut atteindre 32 Po. Prend en charge les pools de ressources de stockage composés de différents supports de stockage. Dans la configuration de base (3 nœuds de stockage), il atteint des millions d'IOPS et le débit dépasse 20 Go/s.

Méthode de mise en œuvre :

1. Les utilisateurs peuvent acheter eux-mêmes du matériel ou recycler le matériel usagé.

2. Yunhe Enmo fournit des logiciels et des services zData, y compris la planification des performances et de la capacité, les meilleures pratiques zData, la migration et l'optimisation des bases de données, ainsi que la maintenance globale.

Valeur de la proposition :

1. Architecture ouverte x86 standard, la solution est flexible et pratique.

2. Il n'est pas nécessaire d'utiliser des mini-ordinateurs et un stockage haut de gamme, et la construction et l'agrandissement sont extrêmement rentables.

Structure du produit :

Logiciel de gestion de stockage zData Light Storage

zData Light Storage est un logiciel de gestion de stockage distribué développé indépendamment par Yunhe Enmo. Il s'agit d'un ensemble de logiciels de stockage flexibles définis par logiciel qui utilisent pleinement le stockage interne à connexion directe basé sur des serveurs PC pour créer un pool de stockage virtuel et évolutif. , les performances sont nettement supérieures à celles d'un SAN Fibre Channel externe traditionnel, tandis que le coût et la complexité sont réduits de façon exponentielle. Dans zData, les serveurs x86 hautes performances peuvent être utilisés comme nœuds de stockage via le logiciel de gestion de stockage zData Light Storage, de sorte que les ressources de disque internes de plusieurs nœuds de stockage puissent être intégrées pour former un pool de ressources de stockage SAN virtuel sur le nœud de base de données (. nœud informatique) Vous pouvez utiliser le SAN virtuel en y installant le client zData Light Storage. zData Light Storage prend en charge le protocole RDMA sous le réseau Infiniband, ce qui peut réduire considérablement l'utilisation du processeur et la latence d'accès aux E/S. Il présente des avantages de performances inégalés et prend en charge les supports de stockage grand public, notamment PCIe, NVMe, SAS, SATA et d'autres interfaces. . Disques et cartes SSD ainsi que disques durs mécaniques traditionnels avec interfaces SAS et SATA.

Réseau Infiniband

zData est basé sur un réseau haut débit Infiniband de 40 à 100 Go et adopte une architecture réseau entièrement redondante, d'une part, il peut fournir une bande passante suffisante pour transporter la transmission de données du logiciel de gestion de stockage zData LightStorage, ce qui rend ses performances nettement meilleures que celles externes. SAN FC traditionnel, et le coût et la complexité sont élevés ; d'autre part, il offre une garantie de lecture et d'écriture hautes performances du cluster Oracle RAC.

outil de gestion intelligent zData zMan

Sur la base des connaissances professionnelles de Yunhe Enmo et de sa solide équipe dans le domaine des bases de données Oracle, nous avons développé un outil humanisé de gestion, d'exploitation et de maintenance zMan (zData Manager) qui fournit des fonctions intelligentes et pratiques d'installation, de déploiement et de gestion en un clic pour zData. Il réduit considérablement les coûts de gestion, d'exploitation et de maintenance et offre aux utilisateurs une expérience d'exploitation plus simple, plus pratique et plus conviviale en termes de fonctions de gestion.

Le stockage défini par logiciel Yunhe Enmo zData présente les fonctionnalités suivantes : Haute performance

Les nœuds de stockage et les nœuds informatiques sont interconnectés via le réseau Infiniband haut débit de 40 à 100 Go, et chaque lien connecté peut transmettre des données de stockage. Grâce au logiciel de gestion du stockage zDataLight Storage, lors de l'utilisation de cartes mémoire flash, un seul nœud de stockage peut fournir un débit d'E/S supérieur à 12 Go/s, les IOPS (demandes d'E/S disque par seconde) peuvent atteindre plus de 400 000 et la latence d'accès au disque est de 0,6 en ms. . Le débit d'E/S sur un seul nœud informatique atteint plus de 12 Go/s, les IOPS (demandes d'E/S disque par seconde) peuvent atteindre plus d'un million et le délai d'accès au disque est inférieur à 0,6 ms. Les trois capacités clés du stockage sont plus de 10 fois supérieures à celles des baies traditionnelles.

Expansion dynamique multidimensionnelle

Dans l'architecture de stockage définie par logiciel zData, les nœuds de calcul et les nœuds de stockage peuvent être étendus de manière dynamique en fonction des besoins de l'entreprise et des applications, et la capacité et les performances augmentent de manière linéaire. De même, les nœuds de calcul et de stockage peuvent également être réduits de manière dynamique en fonction des besoins de l'entreprise et des applications afin de garantir une disponibilité maximale des ressources

Mutualisation des ressources et cloudification

Dans l'architecture de stockage définie par logiciel zData, les ressources informatiques et les ressources de stockage sont regroupées, gérées de manière uniforme, puis allouées et étendues à la demande.

Sécurité et fiabilité de l'architecture et des logiciels

Dans le stockage défini par logiciel zData, les serveurs, les commutateurs Infiniband, les cartes Infiniband HCA et les cartes mémoire flash PCIe sont tous redondants. La défaillance d'un appareil ou d'un nœud n'affectera pas la disponibilité des services en ligne, et il n'y a pas de point de défaillance unique. Dans le même temps, le logiciel de gestion du stockage zData gère et maintient automatiquement les ressources de stockage lorsqu'un nœud du réseau de stockage distribué est endommagé ou que des nœuds de stockage sont déplacés ou ajoutés, le logiciel de gestion du stockage zData reconstruit les « blocs » de stockage intacts sur les emplacements existants ou intacts. nœuds. », de sorte que chaque « bloc » de stockage dispose toujours d’un miroir, garantissant la sécurité des données. La vitesse de reconstruction peut atteindre 2 To par heure et peut être utilisée automatiquement en ligne sans intervention manuelle et sans affecter les activités en ligne.

Gestion unifiée de l'exploitation et de la maintenance pour améliorer l'utilisation des ressources

L'ensemble des ressources zData est géré de manière uniforme via la plateforme de gestion zdata et l'exploitation et la maintenance automatisées réduisent considérablement les compétences requises pour les responsables informatiques.
zCache, l'outil de mise en cache intelligent unique du stockage défini par logiciel Yunhe Enmo zData, fournit les fonctions suivantes :

• Prise en charge des modes réécriture et passthrough

• Prise en charge du démarrage et de la fermeture du cache en ligne

• Prise en charge de l'actualisation automatique/manuelle des données sales

• Prend en charge le contrôle dynamique de la fréquence de rafraîchissement et de la vitesse des blocs sales

Scénarios d'application et avantages du stockage défini par logiciel zdata :

1. Système d'entrepôt de données et de reporting (OLAP) : la base de données de ce type de système a des exigences très élevées en termes de performances d'E/S et d'extension de capacité de stockage, mais n'a pas d'exigences élevées en matière de disponibilité et de reprise après sinistre. Ce type de système est un système secondaire important en plus du système de base dans les applications d'entreprise. Si vous achetez le stockage centralisé de grande capacité le plus haut de gamme, le coût est très élevé. Ce type de système constitue le meilleur cas d'utilisation pour les solutions de stockage défini par logiciel zData.

2. Systèmes de traitement des transactions en ligne (OLTP) : ce type de système a des exigences élevées en matière de performances et de concurrence en temps réel, d'opérations de données fréquentes et, par conséquent, d'exigences élevées en matière de CPU et d'E/S. Étant donné que les solutions de stockage défini par logiciel zData peuvent fournir une puissance de calcul suffisante et réduire considérablement la latence des E/S, ce type de système constitue également le meilleur scénario d'utilisation pour les solutions de stockage défini par logiciel zData.

3. Cloudification et intégration des bases de données : certaines grandes entreprises disposent d'un grand nombre de bases de données et doivent intégrer de nombreuses bases de données sans importance pour réduire la complexité et les coûts d'exploitation et de maintenance. Utilisez la solution de stockage distribué définie par logiciel zData pour créer une plate-forme de cloudisation et d'intégration de base de données afin d'améliorer les performances du système après l'intégration et d'augmenter la flexibilité du système (faciliter l'expansion), et utilisez l'outil de gestion du stockage défini par logiciel zMan pour le rendre facile pour que les utilisateurs maintiennent le système intégré. zData prend en charge la cloudification et la gestion des plateformes OpenStack et VMware.

4. Sauvegarde de la base de données et reprise après sinistre sous le

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!