Quelles capacités doivent être couvertes par les outils d'exploitation et de maintenance de la base de données PG ?

​Avant les vacances, j'ai collaboré avec la communauté PG Chine pour organiser une diffusion en direct en ligne sur la façon d'utiliser D-SMART pour exploiter et maintenir la base de données PG. Il est arrivé qu'un de mes clients du secteur financier ait écouté mon introduction et. appelé pour discuter. Ils sélectionnent la base de données Xinchuang et ont essayé plusieurs bases de données nationales. Enfin, ils vont choisir TDSQL. J'ai été un peu surpris à l'époque. Ils sélectionnaient des bases de données nationales depuis 2020, mais il semblait que la première expérience après l'utilisation de TDSQL n'était pas très bonne. Plus tard, après la communication, j'ai appris qu'ils venaient de commencer à utiliser la base de données distribuée de TDSQL et ont trouvé que les exigences de recherche et développement étaient trop élevées, ils ont donc tous choisi l'instance MYSQL centralisée de TDSQL. Après l'avoir utilisée, ils ont trouvé qu'elle était très facile à utiliser. . Le nombre de nœuds dans l’ensemble du cloud de base de données est également passé de la douzaine initiale à des dizaines.

Par coïncidence, hier, j'ai discuté avec un autre client financier sur WeChat de la sélection de la base de données Xinchuang, et ils ont finalement choisi TDSQL. Semblable à un autre client, ils ont également choisi l'instance de base de données centralisée MYSQL de TDSQL. Ils ont actuellement migré des dizaines de bases de données, dont la plupart sont de petites bases de données allant de plusieurs dizaines à plusieurs centaines de Go. Ils estiment qu'il est très pratique de migrer de petites bases de données directement vers la plate-forme cloud TDSQL et que les outils d'exploitation et de maintenance peuvent essentiellement répondre à leurs besoins quotidiens d'exploitation et de maintenance.

Grâce à la communication, j'ai l'impression que ces deux clients ont choisi TDSQL non pas en raison de l'excellence de TDSQL en tant que base de données (TDSQL n'est en fait pas une base de données, mais une solution de plate-forme cloud de base de données. J'écrirai sur TDSQL quand j'aurai le temps dans le futur . (introduction détaillée dans cet article), mais sa plate-forme de gestion de base de données en nuage est très efficace pour gérer un grand nombre de petites instances de base de données. Les utilisateurs la choisissent non pas pour la technologie de base de données, mais pour la commodité et la fiabilité d'utilisation.

Parmi les raisons pour lesquelles les clients choisissent TDSQL, examinons le fonctionnement et la maintenance de la base de données PG. Parler du fonctionnement et de la maintenance de la base de données PG en général est un sujet très vaste, car différents clients ont leurs propres scénarios d'application spéciaux, et les méthodes de gestion du fonctionnement et de la maintenance de la base de données PG sont également très différentes. Ce qui est plus compliqué, c'est que, contrairement aux deux clients que j'ai mentionnés qui ont choisi TDSQL, PG Database possède à la fois de petites bases de données et de très grands systèmes de bases de données. Lorsque certains clients remplacent Xinchuang, ils remplacent les bases de données Oracle une à une. Les données chaudes de nombreuses bases de données dépassent plusieurs To. Face à des scénarios d'application présentant d'énormes différences d'échelle et des exigences d'exploitation et de maintenance différentes, les outils d'exploitation et de maintenance doivent en effet être soigneusement conçus pour s'adapter à des scénarios d'application très variés.

L'application de la base de données PG en Chine s'est développée rapidement au cours des deux dernières années. De plus, de nombreuses bases de données nationales sont également développées sur la base de projets open source PG. Elles sont très similaires en termes d'application, de fonctionnement et de maintenance, nous pouvons donc également les classer. en tant que produits de base de données PG.

Dans la base de données nationale actuelle, de nombreux produits utilisent le code PG Community Edition comme point de départ pour la recherche et le développement, et certains produits sont basés sur le projet open source openGauss. Les fonctionnalités de base de ces bases de données sont similaires à celles de la version communautaire de la base de données PG, mais elles ont également été étendues dans une certaine mesure. Cependant, en termes d'utilisation, d'exploitation et de maintenance, bon nombre de leurs fonctionnalités sont très similaires à la version communautaire de PG.

Il existe également certains produits de base de données directement liés à PG, mais la plupart des solutions distribuées basées sur PG sont PGXL/PGXC ou CITUS. Par exemple, TBASE de Tencent, la version distribuée GBASE 8C de NTU General, ANTDB d'AsiaInfo, la base de données Xugu, etc. Je ne les énumérerai pas en détail ici. Une instance de ces bases de données est également une base de données PG, et une instance spécifique peut également être considérée comme une instance de base de données PG. Cependant, lors de l'exploitation et de la maintenance de bases de données distribuées, vous devez accorder plus d'attention aux problèmes de l'ensemble du cluster et du réseau. La différence est encore énorme.

En résumé, les exigences de fonctionnement et de maintenance de la base de données PG sont divisées en cinq aspects : surveillance quotidienne, avertissement de panne, inspection automatisée, optimisation des performances et diagnostic des pannes.

Certaines entreprises migrent déjà certains systèmes centraux vers les bases de données PG. Pour ces systèmes, il existe un besoin quotidien de surveillance. Par conséquent, la capacité la plus fondamentale dont doit disposer un outil d'exploitation et de maintenance de base de données est la capacité de surveillance. Il peut comprendre l'état de fonctionnement global de l'instance de base de données à tout moment grâce à l'outil d'exploitation et de maintenance. D-SMART affiche l'état d'exécution de la base de données via un modèle de santé. De plus, si nous devons être en service à certaines dates importantes (comme les comptes de fin d'année de l'entreprise, une mission spéciale lors de la fête nationale, etc.), nous avons également besoin d'outils capables de prendre en charge le service des systèmes clés.

Dans D-SMART, nous fournissons le « Centre de surveillance », le « Centre d'inspection quotidienne », le « Centre d'alarme », le « Centre d'optimisation des performances », le « Centre de rapports », le « Centre de gestion de capacité » et le « Centre de sécurité » autour de l'exploitation et de la maintenance de la base de données. . » et « Tool Center » combinent ces fonctions centralisées pour répondre aux besoins des différents utilisateurs et utilisateurs dans différents scénarios d'application.

Pour les fonctions de surveillance quotidiennes, D-SMART fournit trois outils principaux de surveillance des opérations et de la maintenance : "Today's Kanban", "My Monitoring" et "Key SQL Monitoring". Le Kanban actuel permet de visualiser de manière centralisée les informations complètes des bases de données surveillées par les utilisateurs. « Ma surveillance » permet aux utilisateurs d'utiliser des méthodes de surveillance traditionnelles pour définir les indicateurs qu'ils souhaitent surveiller pour la surveillance des escortes majeures. "Key SQL Monitoring" est un outil de surveillance spécial fourni pour les systèmes métier de base des entreprises. Lorsqu'il y a un problème avec la clé SQL d'un système métier principal (tel qu'une exécution lente, un changement de plan d'exécution, etc.), des alarmes opportunes peuvent être générées pour garantir le fonctionnement sûr du cœur métier.

Pour un grand nombre de petites instances de bases de données, une surveillance complète n'est pas pratique. Si une équipe de plus d’une douzaine de personnes doit exploiter et maintenir des centaines ou des milliers d’instances de bases de données, une surveillance complète de ces bases de données n’est ni nécessaire ni possible. Par conséquent, ce scénario d'exploitation et de maintenance devrait transformer une grande partie du travail de surveillance en tâches automatisées, qui peuvent être automatiquement exécutées par le système de surveillance.

"Database Daily Inspection" est un outil automatisé d'exploitation et de maintenance très efficace. Il analyse automatiquement les données d'exploitation de la base de données et certaines règles tous les minuit, et forme un rapport récapitulatif d'inspection quotidienne concis et complet. Le personnel d'exploitation et de maintenance peut lire ces rapports directement. après le travail. Vous pouvez découvrir certains problèmes courants qui existent dans les centaines d'instances de base de données que vous exploitez et gérez, afin de pouvoir déterminer si vous devez apporter les modifications correspondantes à certaines instances de base de données ce jour-là ou dans un avenir proche.

Lorsque nous devons exploiter et maintenir un grand nombre de petites instances de bases de données, l'alerte précoce devient très difficile. L’effet de la traditionnelle « alarme de base » est devenu très inutile. Outre les temps d’arrêt des instances de base de données, d’autres alertes précoces sont difficiles à émettre avec précision. Des informations d’alerte massives rendront l’alerte précoce inutile. Par conséquent, les « alarmes d'expérience d'exploitation et de maintenance » basées sur des modèles de pannes sont devenues particulièrement importantes. Des règles complexes élaborées à partir de l'expérience d'experts et de l'expérience passée peuvent non seulement fournir des alertes précoces plus précises, mais également permettre au personnel d'exploitation et de maintenance de localiser plus rapidement les problèmes et d'éliminer les dangers cachés une fois les alarmes générées.

"L'inspection de la base de données" est une fonction que la plupart des DBA trouvent très inutile. Le principal problème est que ce travail doit être fait, mais faire une véritable inspection sur place nécessite beaucoup de participation professionnelle et beaucoup de répétition. en général, ce n’est pas rentable. D’un autre côté, des inspections complètes et de haute qualité peuvent nous aider à découvrir certains dangers cachés du système et à les prévenir avant qu’ils ne surviennent. En réponse à cette contradiction, si des inspections automatisées de haute qualité peuvent être réalisées, le problème sera alors facilement résolu. Il y a quelques mois, nous avons aidé un utilisateur à effectuer une inspection à distance. L'utilisateur a envoyé les données de surveillance collectées par D-SMART à notre laboratoire. Nos experts en bases de données ont utilisé le rapport d'inspection généré par les données à distance pour effectuer une inspection sur près de 30 systèmes de bases de données. Nous avons mené une consultation à distance et aidé les utilisateurs à découvrir plus de 200 problèmes de différents types, et ce travail n'a pris que moins de 2 jours-homme. Grâce à l'automatisation, si l'efficacité de l'inspection des bases de données peut être améliorée, le travail d'inspection ne sera pas si inutile.

En plus des inspections, certains travaux d'audit sont également très critiques, comme l'audit de sécurité, l'audit de capacité, l'audit SQL, etc. Parce que ces audits nécessitent des compétences très professionnelles et que la charge de travail est également très importante, face à un grand nombre d'instances de bases de données, ils deviennent aussi inutiles que les inspections. Il est trop coûteux de bien le faire, et cela ne veut rien dire si ce n'est pas le cas. bien fait. Cependant, si ces tâches peuvent être accomplies automatiquement par des outils automatisés, elles peuvent alors jouer un rôle très important.

En fait, en plus de ces tâches de surveillance de l'exploitation et de la maintenance, un grand nombre de tâches de gestion d'instances de bases de données et de nombreuses opérations automatisées sont indispensables aux DBA. C'est aussi la principale raison pour laquelle les deux clients que j'ai mentionnés au début ont choisi. TDSQL. Pour gérer un grand nombre d’instances de bases de données, une plateforme cloud de bases de données est indispensable. Cependant, ces fonctions de gestion automatisées elles-mêmes sont très complexes. Construire une plateforme cloud de bases de données indépendante basée sur les caractéristiques de l’entreprise est un projet majeur en soi. Bien entendu, si le service RDS de la plateforme cloud d'entreprise peut répondre aux besoins de votre application de base de données, il suffit alors d'utiliser directement le RDS de la plateforme cloud. Bien entendu, face à la demande actuelle d'innovation informationnelle, le RDS de l'entreprise doit non seulement prendre en charge la base de données open source MYSQL/PG, mais également prendre en charge les produits de bases de données nationaux.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!