Introduction au principe de mise en œuvre de la partition Redis

Le partitionnement Redis est un partitionnement Redis. En termes simples, il s'agit de distribuer des données à différentes instances Redis, de sorte que le contenu stocké dans chaque instance Redis n'est qu'un sous-ensemble de tout le contenu.

Recommandé : Tutoriel d'introduction à Redis

Pourquoi avons-nous besoin d'un partitionnement ? Quelle a été la motivation de la partition ? De manière générale, les avantages du partitionnement Redis sont à peu près les suivants :

1. Les capacités d'E/S réseau et les ressources informatiques de Redis sur une seule machine sont limitées et les requêtes sont distribuées sur plusieurs machines. l'utilisation complète de la puissance de calcul et de la bande passante réseau de plusieurs machines contribue à améliorer les capacités globales de service de Redis.

2. Expansion horizontale du stockage. Même si les capacités de service de Redis peuvent répondre aux besoins des applications, à mesure que les données de stockage augmentent, une seule machine est limitée par la capacité de stockage de la machine elle-même et les données sont dispersées. sur plusieurs machines. Le stockage supérieur permet au service Redis d'évoluer horizontalement.

En général, le partitionnement fait que le problème que nous sommes limités par les ressources matérielles d'un seul ordinateur n'est plus un problème. Pas assez de stockage ? Pas assez de ressources informatiques ? Pas assez de bande passante ? Nous pouvons tous résoudre ces problèmes en ajoutant davantage de machines.

Bases de la partition Redis

Il existe de nombreuses stratégies spécifiques de partitionnement dans les applications réelles. Par exemple, supposons que nous ayons déjà un ensemble de quatre instances Redis, à savoir R0, R1. , R2, R3. De plus, nous avons un lot de clés représentant les utilisateurs, telles que : utilisateur : 1, utilisateur : 2,... et ainsi de suite. Le numéro après « utilisateur : » représente l'identifiant de l'utilisateur. à faire Ces clés sont stockées dans quatre instances Redis différentes. Comment faire ? Le moyen le plus simple est le partitionnement par plage. Voyons comment procéder en fonction du partitionnement par plage.

Partitionnement de plage

Le soi-disant partitionnement de plage consiste à mapper toutes les clés d'une plage à la même instance Redis. L'ajout de l'ensemble de données est toujours la méthode spécifique mentionnée ci-dessus. est la suivante :

Nous pouvons mapper les données utilisateur avec des ID utilisateur de 0 à 10 000 aux instances R0, et des objets avec des ID utilisateur de 10 001 à 20 000 aux instances R1, et ainsi de suite.

Bien que cette méthode soit simple, elle est très efficace dans les applications pratiques, mais il y a encore des problèmes :

Nous avons besoin d'une table, qui est utilisée pour stocker la plage d'ID utilisateur dans Redis. Le mappage relation de l'instance, par exemple, l'ID utilisateur 0-10000 est mappé à l'instance R0...

Non seulement nous devons maintenir ce tableau, mais nous avons également besoin d'un tel tableau pour chaque type d'objet. Par exemple, nous stockons actuellement les informations sur les utilisateurs. Si nous stockons les informations de commande, nous devons le créer. encore une fois. Une table de relations de mappage.

Que faire si la clé des données que nous voulons stocker ne peut pas être divisée en fonction de la plage. Par exemple, notre clé est un ensemble d'uuid. À l'heure actuelle, il n'est pas facile d'utiliser le partitionnement par plage.

Par conséquent, dans les applications pratiques, le partitionnement par plage n'est pas un bon choix. Ne vous inquiétez pas, nous avons une meilleure méthode. Apprenons le partitionnement par hachage.

Partitionnement par hachage

Un avantage évident du partitionnement par hachage par rapport au partitionnement par plage est que le partitionnement par hachage convient à toute forme de clé, contrairement au partitionnement par plage. est object_name :, et la méthode de partitionnement est également très simple. Elle peut être exprimée par une formule :

id=hash(key)%N

où id représente le numéro de l'instance Redis. et une fonction de hachage (telle que la fonction crc32) calcule une valeur numérique. En suivant l'exemple ci-dessus, la première clé que nous souhaitons traiter est user:1, et le résultat du hachage (user:1) est 93024922.

Ensuite, le résultat du hachage est modulo. Le but de modulo est de calculer une valeur comprise entre 0 et 3, afin que cette valeur puisse être mappée à l'une de nos instances Redis. Par exemple, si le résultat de 93024922%4 est 2, nous saurons que foobar sera stocké sur R2.

Différentes implémentations de partition

Le partitionnement peut être implémenté dans différentes parties de la pile logicielle Redis. Jetons un coup d'œil à ce qui suit :

Implémentation client

L'implémentation client signifie que la clé est déterminée sur le client Redis dans quelle instance Redis elle sera stockée, comme le montre la figure ci-dessous :

Ce qui précède est un diagramme schématique du client implémentant le partitionnement Redis.

Implémentation du proxy

L'implémentation du proxy signifie que le client envoie la requête au serveur proxy implémente le protocole Redis, afin que le serveur proxy puisse proxy la communication. entre le client et le serveur Redis. Le serveur proxy transmet la demande du client à l'instance Redis appropriée via le schéma de partition configuré et renvoie le message de retour au client. Le diagramme schématique de l'implémentation proxy du partitionnement Redis est le suivant :

Les proxy Redis et Memcached Twemoroxy implémentent le partitionnement proxy.

Routage des requêtes

Le routage des requêtes est une méthode de partitionnement Redis implémentée par Redis Cluster :

Pendant le processus de routage des requêtes, nous pouvons envoyer de manière aléatoire la requête à n'importe quelle instance Redis. Cette instance Redis est chargée de transmettre la requête à l'instance Redis appropriée. Le cluster Redis implémente un hybride qui coopère avec le client pour le routage des requêtes.

Inconvénients du partitionnement Redis

Bien que le partitionnement Redis soit jusqu'à présent tout bon, le partitionnement Redis présente des défauts fatals, ce qui entraîne l'échec de certaines fonctions Redis dans le partitionnement Cela ne fonctionne pas bien dans l'environnement. Jetons un coup d'œil :

Les opérations multi-clés ne sont pas prises en charge. Par exemple, les clés que nous souhaitons utiliser par lots sont mappées à différentes instances Redis.

Les transactions Redis multi-clés ne sont pas prises en charge.

La granularité minimale du partitionnement est la clé, nous ne pouvons donc pas mapper de très grands ensembles de données associés à une clé à différentes instances.

Lors de l'application du partitionnement, le traitement des données est très complexe. Par exemple, nous devons traiter plusieurs fichiers rdb/aof et rassembler les fichiers distribués dans différentes instances pour la sauvegarde.

L'ajout et la suppression de machines sont très complexes. Par exemple, le cluster Redis prend en charge un rééquilibrage presque transparent au moment de l'exécution qui doit être effectué pour ajouter ou réduire des machines. Cependant, les méthodes telles que le partitionnement des clients et des agents ne le prennent pas en charge.

Stockage ou cache persistant

Bien que le partitionnement des données soit conceptuellement le même pour Redis, qu'il s'agisse d'un stockage ou d'un cache persistant de données, cependant, pour les données, le stockage persistant a toujours un grand limitation. Lorsque nous utilisons Redis comme stockage persistant, chaque clé doit toujours être mappée à la même instance Redis. Lorsque Redis est utilisé comme cache, pour cette clé, si une instance ne peut pas être utilisée, cette clé peut également être mappée à d'autres instances.

Les implémentations de hachage cohérentes permettent généralement de mapper une clé à une autre instance lorsque l'instance à laquelle elle est mappée devient indisponible. De même, si une machine est ajoutée, une partie des clés sera mappée sur la nouvelle machine. Deux points que nous devons comprendre sont les suivants :

1 Si Redis est utilisé comme cache, et les exigences sont les suivantes. facile L'ajout ou la suppression de machines est très simple en utilisant un hachage cohérent.

2. Si Redis est utilisé comme stockage (persistant), un mappage clé-instance fixe est requis, nous ne pouvons donc plus ajouter ou supprimer de machines de manière flexible. Sinon, nous avons besoin que le système puisse se rééquilibrer lors de l'ajout ou de la suppression de machines, ce qui est actuellement pris en charge par Redis Cluster.

Pré-partage

Grâce à l'introduction ci-dessus, nous savons qu'il y a des problèmes avec l'application de la partition Redis. À moins que nous n'utilisions Redis uniquement comme cache, ce sera le cas. être difficile d'ajouter des machines ou de supprimer une machine est très gênant.

Cependant, les changements dans notre capacité Redis sont généralement très courants dans les applications pratiques. Par exemple, j'ai besoin de 10 machines Redis aujourd'hui, et j'aurai peut-être besoin de 50 machines demain.

Étant donné que Redis est un service très léger (chaque instance n'occupe que 1 Mo), une solution simple au problème ci-dessus est :

Nous pouvons ouvrir plusieurs instances Redis, même s'il s'agit d'une instance physique machine, nous pouvons démarrer plusieurs instances au début. Nous pouvons choisir certaines instances, telles que 32 ou 64 instances, comme cluster de travail. Lorsqu'une machine physique ne dispose pas de suffisamment de stockage, nous pouvons déplacer les instances générales vers notre deuxième machine physique et les coupler en séquence. Nous pouvons garantir que le nombre d'instances Redis dans le cluster reste inchangé et atteindre l'objectif d'extension de la machine.

Comment déplacer une instance Redis ? Lorsque nous devons déplacer l'instance Redis vers une machine indépendante, nous pouvons le faire en suivant les étapes suivantes :

1. Démarrez une nouvelle instance Redis sur la nouvelle machine physique.

2. Utilisez la nouvelle machine physique comme machine esclave à déplacer.

3. Arrêtez le client.

4. Mettez à jour l'adresse IP de l'instance Redis à déplacer.

5. Envoyez la commande SLAVEOF ON ONE à la machine esclave.

6. Démarrez le client Redis en utilisant la nouvelle IP.

7. Fermez l'instance Redis qui n'est plus utilisée.

Résumé

Sur la base de la compréhension du concept de partition Redis, cet article présente plusieurs méthodes et principes d'implémentation courants de la partition Redis. Enfin, Pre est introduit en fonction des problèmes rencontrés lors de la mise en œuvre. .-Solution de partage.

Recommandations associées :

Tutoriel vidéo MySQL : https://www.php.cn/course/list/51.html

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!