Comment simplifier les opérations et la maintenance cloud natives

Le cloud computing apporte non seulement intensification, efficacité, flexibilité et agilité commerciale, mais il pose également des défis sans précédent en matière d'exploitation et de maintenance du cloud. Comment relever les défis des nouvelles tendances technologiques, créer une plate-forme de surveillance intelligente pour l'ère du cloud et fournir une meilleure protection des applications cloud est un problème difficile auquel chaque entreprise est aujourd'hui confrontée.

Dans le récent huitième numéro de la série d'événements [T·Talk], le centre de contenu 51CTO a spécialement invité Zhang Huaipeng, vice-président de Chengyun Products, dans la salle de diffusion en direct pour partager son expérience et ses réflexions sur la création d'un outil d'observation numérique. à l’ère du cloud. [T·Talk] a également compilé le contenu passionnant de ce numéro, et j'espère que vous pourrez en tirer quelque chose :

​

Les points faibles des opérations numériques sous la vague de la transformation numérique

Transformation numérique et la construction d'une économie numérique sont les tendances actuelles. Tendance majeure de l'époque, la transformation numérique peut être considérée comme la quatrième révolution industrielle de l'histoire de l'humanité. Nos méthodes de travail quotidiennes, nos méthodes de paiement, nos méthodes d'achat, y compris nos méthodes de déplacement, sont toutes affectées à tout moment par la numérisation. Pour faire simple, nous sommes désormais entrés dans l’ère de la DT numérique après l’ère informatique traditionnelle.

À l'ère du DT numérique, la transformation numérique a presque redéfini le métier actuel des entreprises et la manière de vivre l'expérience commerciale. Cependant, à mesure que la transformation numérique de diverses industries continue de s'approfondir, de plus en plus d'accidents d'applications numériques ont commencé à apparaître progressivement. Par exemple, l'effondrement du code de la santé et les anomalies du système de test d'acide nucléique dans une certaine province ou ville au début de l'année ont eu un impact énorme sur la société.

Selon une enquête, 60 % des PDG estiment actuellement que la transformation numérique est très importante, et les entreprises font également de grands progrès vers la transformation numérique et l'évolution de l'intelligence artificielle sous la direction de ce groupe. de personnes. Cependant, à l’opposé, 95 % des applications d’entreprise n’ont pas fait l’objet d’une surveillance et d’une attention efficaces.

La plupart des méthodes d'exploitation numériques actuelles ont été produites à l'ère des centres de données traditionnels, et un grand nombre d'outils ou de technologies ne prenaient pas en compte le scénario du cloud computing. Avec la popularisation du cloud computing, le scénario de l'informatisation a subi des changements bouleversants. La complexité de l'application elle-même a explosé, avec de plus en plus de distributions, des dépendances de plus en plus complexes et le rythme des itérations logicielles de plus en plus rapide. Dans un tel scénario, les entreprises doivent de toute urgence créer un ensemble de solutions basées sur les flux commerciaux et de données pour l’ère DT.

L'ère DT a produit trop de nouvelles technologies et de nouveaux scénarios, comme le cloud natif, qui est actuellement très populaire. Les exigences du cloud natif ont accéléré l'évolution de l'exploitation et de la maintenance traditionnelles à l'exploitation et à la maintenance des applications. Il existe une grande quantité d'infrastructures dans les scénarios traditionnels, mais à mesure que les entreprises migrent vers le cloud, l'infrastructure sera hébergée par des opérateurs ou des opérateurs. Les entreprises n'auront plus besoin de fournir une gestion traditionnelle de la salle informatique, une gestion actuelle faible, une surveillance du matériel, une surveillance sans système d'exploitation. et configuration de l'onduleur. Problèmes d'électricité, de température et d'humidité. Par conséquent, l'exploitation et la maintenance traditionnelles des équipements ont évolué vers une exploitation et une maintenance axées sur la fiabilité des sites, et les entreprises investiront de moins en moins dans l'exploitation et la maintenance traditionnelles.

Actuellement, nous sommes en phase de transformation vers une exploitation et une maintenance intelligentes. Ce qu’il faut faire maintenant, c’est rendre l’exploitation et la maintenance numériques ainsi que l’exploitation et la maintenance informatiques plus légères, plus rapides et moins coûteuses. L'énergie de l'équipe d'exploitation et de maintenance doit être concentrée sur les activités de l'entreprise elle-même, et les affaires sont la question clé à laquelle le personnel d'exploitation et de maintenance doit prêter attention. Cela entraînera une demande d’exploitation et de maintenance intelligentes.

Parcours technique typique des entreprises vers une exploitation et une maintenance intelligentes

1. Qu'est-ce que l'exploitation et la maintenance intelligentes

Concernant l'exploitation et la maintenance intelligentes, Forrester et Gartner l'ont défini dans des rapports : AIOps est un ensemble d'IA. les opérations et la science des données appliquées aux domaines de données commerciales et opérationnelles pour créer des corrélations et des systèmes logiciels capables de fournir des réponses prescriptives et prédictives en temps réel. L’AIOps peut être un système logiciel, il peut donc s’agir d’un produit implémenté. L'AIOps peut améliorer et remplacer partiellement les principales fonctions traditionnelles d'exploitation et de maintenance informatique, notamment la surveillance de la disponibilité et des performances, la corrélation et l'analyse des événements, la gestion et l'automatisation des services informatiques.

AIOps est orienté vers les opérations. Les opérations doivent couvrir les trois aspects de l'observation, de la gestion et de l'élimination. Cependant, le niveau global actuel de l'industrie est davantage axé sur le niveau d'observation. Forrester a également fait une déclaration classique à ce sujet : l'AIOps promet une observabilité et une stabilité plus fortes.

Forrester estime que l'une des valeurs fondamentales de l'AIOps actuelle est d'améliorer les capacités pré-événement, d'améliorer et d'étendre vos capacités observables.

2. Qu'est-ce que l'observabilité

L'observabilité est née pour la première fois dans la théorie du contrôle, qui fait référence à la mesure dans laquelle un système peut déduire son état interne à partir d'une sortie externe. Dans le domaine informatique, Gartner définit l'observabilité comme une caractéristique des logiciels et des systèmes. Plus précisément, cela fait référence à la capacité de déterminer l'état actuel du système et les conditions du système sur la base des données télémétriques générées par le système. Cette capacité est l'observabilité ou l'observabilité.

​

Pourquoi avez-vous besoin d'observabilité ?

Les technologies et outils de surveillance traditionnels sont difficiles à suivre les chemins de communication et les dépendances dans l'architecture actuelle de plus en plus distribuée. Dans les scénarios cloud natifs ou cloud, les dépendances sont très complexes et ne sont plus aussi complexes que les applications de nombreuses architectures monolithiques traditionnelles. sont les mêmes. L'observabilité peut mieux contrôler les systèmes complexes. Grâce aux trois piliers de données de l'observabilité, nous pouvons comprendre tous les aspects des systèmes complexes de manière très intuitive et détaillée.

L'observabilité sert non seulement aux opérations et à la maintenance, mais sert également au service de développement, au service SRE, au service Support, au service marketing et au service commercial. Par conséquent, si nous pouvons intégrer l’AIOps et l’observabilité pour créer une plate-forme intégrée, nous obtiendrons un produit très parfait qui pourra faire d’une pierre deux coups.

3. Deux voies techniques typiques permettant aux entreprises de mener à une exploitation et une maintenance intelligentes de l'AIOps

Les deux voies techniques typiques permettant aux entreprises de mener une exploitation et une maintenance intelligentes de l'informatique peuvent être résumées de manière frappante comme « plug-in AIOps » et « AIOps endogènes". Le plug-in AIOps implante la plateforme AIOps dans l’environnement d’exploitation et de maintenance informatique de l’entreprise via un contournement. AIOps est une plate-forme d'algorithmes indépendante qui accède aux données hétérogènes de l'entreprise, puis utilise des ingénieurs de données pour trier les dépendances entre les données et utiliser la technologie de traitement du Big Data pour réaliser une livraison basée sur des projets.

L'AIOps endogène met l'accent sur un parcours technique intégré Grâce au moteur AIOps endogène, une boucle fermée de l'ensemble du processus de traitement des données peut être réalisée sans la participation d'ingénieurs de données. Semblable au processus de livraison express, les articles de l’expéditeur sont équivalents à des données. Après avoir obtenu les données, le coursier effectuera l'emballage, l'entreposage, l'expédition, le transport et d'autres opérations. Mais en fin de compte, le destinataire reçoit l’article et toutes les étapes de traitement intermédiaires n’ont pas besoin d’être gérées par l’expéditeur et le destinataire. L’AIOps endogène met l’accent sur cette capacité et intègre les capacités de l’IA dans une plateforme d’observation intégrée.

Différences dans la mise en œuvre technique :

Plug-in AIOps utilise généralement l'IA d'apprentissage automatique traditionnelle. Cette technologie est essentiellement une méthode statistique qui corrèle et analyse les informations métriques, journaux, événements et autres, visant à réduire le risque d'alarmes. bruit. Grâce à l’IA d’apprentissage automatique, nous pouvons obtenir un ensemble d’alertes corrélées. Par conséquent, cela nécessite un certain temps. De manière générale, le plug-in AIOps nécessite un travail manuel ou des enregistrements historiques pour parvenir à une recommandation ou à une cause première possible.

Dans le même temps, les plug-ins AIOps nécessitent une grande dépendance aux données externes, et les fabricants de plug-ins AIOps ne créent généralement que des plates-formes d'algorithmes. Le nettoyage des données, les dépendances entre les entités CMDB, etc. nécessitent tous des données externes. Par conséquent, si vous souhaitez implémenter le plug-in AIOps, vous devez disposer d'un système d'exploitation et de maintenance des informations très mature. Vous devez avoir les prérequis pour appeler des données, disposer de produits APM et avoir une observabilité relativement complète avant de pouvoir implémenter le plug-in. dans AIOps.

L'AIOps endogène fournit une analyse déterministe de l'intelligence artificielle, en prenant comme objectif les résultats de l'analyse déterministe, c'est-à-dire qu'une fois qu'un problème survient, la cause profonde du problème est déterministe et il s'agit d'un résultat en temps quasi réel. L'AIOps endogène maintient une carte de dépendance matricielle avec des performances en temps réel très élevées. Cette technologie n'a pas besoin de s'appuyer sur la CMDB statique traditionnelle. Au lieu de cela, la carte de dépendance elle-même est équivalente à une CMDB en temps réel, qui peut intégrer les dépendances. les changements en temps réel et l'analyse de la gestion est réalisée à l'aide de relations endogènes.

Comment les entreprises décident-elles de choisir la voie technologique qui leur convient ?

Au niveau de la mise en œuvre de l'AIOps, les entreprises doivent également prendre en compte de nombreux problèmes. Du point de vue des chefs d'entreprise, outre les questions fondamentales telles que le coût et l'équipe, il est également nécessaire de considérer l'équilibre entre les différents départements, ainsi que l'équilibre entre coût, stabilité et efficacité. L’objectif de l’AIOps est non seulement de résoudre les problèmes, mais aussi de les résoudre de manière raisonnable. Tout en garantissant les coûts, nous pouvons maximiser la stabilité et l’efficacité de notre entreprise.

a mentionné dans un rapport Forrester que les entreprises doivent prendre en compte les capacités clés suivantes lors de la mise en œuvre de l'AIOps :

• La chaîne peut-elle être transparente ly intégrée et si elle peut atteindre un haut degré d'automatisation
• La plate-forme AIOps attache une grande importance aux données natives. Les données natives incluent les dépendances natives du cloud et les informations sur les données machine natives du cloud
• Dépendances à service complet Automatisation des cartes et construction de panoramas
• L'avenir de l'AIOps réside dans la mise en œuvre d'une perception et d'une automatisation intelligentes des observations
• Le degré d'automatisation de l'analyse des causes profondes et des plans de remédiation des incidents
• Les opérations technologiques modernes nécessitent une intelligence et une automatisation

Regardez aux différences entre les deux voies techniques du processus de traitement des données :

La plate-forme AIOps traditionnelle, c'est-à-dire la plate-forme plug-in AIOps, utilisera de nombreux outils pour reconstituer et assembler pendant le processus de traitement des données, créant ainsi un ensemble fragile du système Big Data. En cas de changement de personnel, il est probable que le nouveau transfert se soldera par une dette technique importante.

La première étape de la collecte de données nécessite de s'appuyer sur un grand nombre d'outils open source et commerciaux. La deuxième étape consiste à injecter les données dans la plateforme big data. La troisième étape consiste à trier manuellement les relations entre les données et à nettoyer les données. Les trois premières étapes prennent beaucoup de temps. La quatrième étape consiste à découvrir et à localiser les problèmes. Ce n'est qu'à cette étape que les fournisseurs d'AIOps seront impliqués. L'équipe du fournisseur doit être stationnée sur le site du client pour répondre à la demande. Les fabricants se renseigneront sur les besoins et fourniront les services correspondants. Cinquièmement, créez un tableau de bord. Sixièmement, l'expansion du système. À mesure que l'échelle du système d'application augmente, l'ensemble du système croît de manière linéaire.

Pendant l'ensemble du processus, les ingénieurs de données doivent consacrer près de 80 % de leur temps à nettoyer, collecter et organiser les données. L'ensemble de la solution nécessite des talents d'exploitation et de maintenance de pointe, tant dans le domaine de l'exploitation que de la maintenance. en termes d'exploitation et de maintenance. Les experts de Dimension doivent également comprendre les algorithmes et le développement. L'AIOps lui-même est un système de support utilisé pour résoudre des problèmes, mais le plug-in AIOps est susceptible de rendre l'exploitation et la maintenance plus lourdes, nécessitant une équipe dédiée pour maintenir la plate-forme AIOps elle-même.

Le processus de traitement des données de l'AIOps endogène est très simple et un seul outil peut résoudre le problème de la collecte de données. Et comme il s’agit d’un produit hautement commercialisé, il dispose de fonctionnalités de tableau de bord prêtes à l’emploi, y compris les moteurs. Par conséquent, les procédures de traitement ultérieures sont toutes des boîtes noires et n'exigent pas que l'entreprise y prête trop d'attention, et les ingénieurs d'affaires n'ont pas non plus besoin de comprendre l'algorithme et d'avoir le niveau technique du SRE.

Dans le même temps, l’AIOps endogène connaîtra une croissance non linéaire à mesure que l’échelle des systèmes d’entreprise s’étendra. L'ensemble du système, y compris l'équipe d'utilisateurs et le produit, connaît une croissance non linéaire. Une fois l’ensemble de la solution défini, l’entreprise n’a plus qu’à installer un seul agent et la plupart des fonctionnalités ultérieures seront automatisées. Cela permet au personnel d'exploitation et de maintenance de l'entreprise de se concentrer sur ses propres activités.

Résumé :

L'industrie a besoin d'une nouvelle génération de plateforme d'intelligence logicielle capable de couvrir entièrement l'ensemble du processus de traitement des données. Fournissez directement les résultats souhaités par vos clients, plutôt que de présenter des données brutes. En général, parmi les deux voies techniques de l'AIOps plug-in et de l'AIOps endogène, il est plus recommandé aux entreprises d'utiliser l'AIOps endogène, qui appartient à un nouveau paradigme d'exploitation et de maintenance intelligentes.

​

L'AIOps endogène contribue à simplifier l'exploitation et la maintenance natives du cloud

L'objectif de la plateforme AIOps endogène est de créer une plateforme intégrée qui intègre l'AIOps et l'observabilité. Cela nécessite des capacités d'observation, et les capacités d'observation doivent être centrées sur la surveillance des applications. La surveillance des applications est la couche de phénomènes à laquelle sont confrontés les utilisateurs finaux. Dans le même temps, la surveillance des infrastructures doit être intégrée, y compris la surveillance des plateformes cloud et la surveillance des boîtes noires. Enfin, vous devez également avoir la capacité de fournir une expérience numérique frontale.

La nouvelle plateforme AIOps doit créer une automatisation continue, de l'accès aux données à la sortie des résultats des données. Il est nécessaire d’avoir des capacités préalables et la capacité de prédire et d’avertir.

La nouvelle plate-forme AIOps doit fournir une observabilité de haut niveau. Elle ne se contente pas de montrer les données originales et les pièces originales à l'entreprise, mais prête également attention au phénomène, à l'expérience et donne des résultats précis, afin de réduire les coûts. autant que possible L'impact et les interférences causés par le bruit massif sur les entreprises.

Le modèle de traitement des données de l'AIOps endogène présente de nombreuses différences, comme l'accent mis sur la capacité d'un Agent dans la collecte de données. En termes de traitement des données, nous mettons l'accent sur le système d'indicateurs. La construction du système d'indicateurs est différente de la méthode traditionnelle. Nous soulignons que l'AIOps endogène est endogène à la plateforme intégrée.

La plateforme endogène AIOps contribuera principalement à simplifier l'exploitation et la maintenance cloud natives sous les cinq aspects suivants :

• La plateforme endogène AIOps peut obtenir directement des observations de haute qualité.
• peut créer des capacités d'automatisation continue, et pour l'exploitation et la maintenance, l'efficacité du travail sera plus élevée
• La plate-forme peut créer une topologie matricielle en temps réel et la recherche par image
• peut produire instantanément une analyse d'impact
• Pointez la cause profonde et observez les résultats

1. Obtenez directement des données d'observation de haute qualité

Tout d'abord, obtenez directement des données de surveillance de haute qualité. Un résumé classique est que « des observations de haute qualité proviennent d'une télémétrie de haute qualité ». Une analyse back-end de haute qualité doit nécessiter la génération de données de télémétrie frontale de haute qualité. L'observabilité se concentre sur trois piliers. Si vous souhaitez effectuer une observabilité de haut niveau et une analyse AIOps endogène, vous avez besoin de cinq piliers en plus des données de suivi, des indicateurs et des données de journalisation traditionnelles, vous avez également besoin de données de topologie et de données de code très critiques. la qualité des données peut déterminer directement la limite supérieure du modèle.

Obtenez directement des données de surveillance de haute qualité. Ces données doivent être collectées de manière non intrusive et automatique sans modifier le code source, l'activité et les applications, et peuvent réaliser la combinaison d'informations contextuelles et d'automatisation. Les informations contextuelles peuvent aider à réaliser une véritable analyse des causes profondes, aider l'analyse des causes profondes à extraire des informations de base haute fidélité et aider la plate-forme à créer des diagrammes de flux de services et des diagrammes de topologie en temps réel pour identifier les dépendances. Y compris la technologie de topologie relationnelle de type matriciel, ces informations contextuelles sont également très critiques.

Le diagramme de topologie montre principalement les dépendances de l'ensemble de l'environnement d'application, y compris les piles verticales et les piles horizontales. Le diagramme de flux de services fournit une vue de l'ensemble de la transaction du point de vue d'un service ou d'une demande. Grâce au diagramme de flux de services et au diagramme de topologie, la séquence d'appels entre les services peut être expliquée. Le diagramme de flux de services montre l'intégralité de la séquence distribuée de transactions, qui est ordonnée, tandis que le diagramme de topologie est une abstraction de niveau supérieur, montrant les dépendances, etc.

Obtenir directement des relations de surveillance de haute qualité nécessite l'utilisation de la technologie des agents commerciaux Bien qu'il existe de nombreux outils open source ou gratuits sur le marché, la technologie des agents commerciaux présente les avantages suivants que plusieurs open source. les outils sources n'en ont pas.

• La stabilité, la sécurité et la fiabilité des sondes proxy collectées sont garanties
• L'impact des sondes sur l'hôte, la surcharge des ressources et les performances du cœur de métier est garanti
• Déploiement et instrumentation, y compris changements, peut utiliser moins d'opérations manuelles
• La surveillance peut être automatiquement implantée dans ces composants de méthodes dynamiques ou de classes de conteneurs
• Divers échantillonnages d'indicateurs sont très bien, la haute fidélité native
• en a assez Les informations et le contexte sont disponibles pour créer un modèle de données unifié

Les avantages ci-dessus ne sont pas disponibles dans de nombreux outils gratuits. La plate-forme AIOps endogène s'appuie sur la technologie One Agent. Agent a une conception informatique de pointe et effectue de nombreuses agrégations et nettoyages de données sur les points de terminaison périphériques.

2. Créer une automatisation continue

La capacité de la plate-forme AIOps endogène est conçue pour créer une automatisation continue. La surveillance d’environnements cloud natifs complexes nécessite une automatisation. Y compris le déploiement automatisé, l'adaptation automatisée, la découverte automatisée, la surveillance, l'injection, le nettoyage et une série d'automatisations. Dans un environnement cloud natif complexe, il est difficile de comprendre manuellement ces activités de bout en bout. Un degré élevé de capacités d'automatisation est donc nécessaire en tant qu'outils auxiliaires pour faciliter l'exploitation et la maintenance automatiques.

3. Construire une carte de relations matricielles en temps réel

La plate-forme AIOps endogène peut construire une topologie matricielle en temps réel. Vous pouvez effectuer une recherche selon le dessin et voir la direction horizontale dans le dessin, comme le diagramme de dépendances de la couche de service, ainsi que la couche conteneur, la couche hôte, le niveau de processus, etc. La direction verticale correspond au conteneur sur lequel le service s'exécute, au processus auquel ce conteneur correspond et à l'hôte cloud sur lequel ce processus tombe.

4. Analyse de l'impact des sorties en temps réel

L'analyse de l'impact des sorties est équivalente à la réflexion sur la sécurité du réseau, et il en va de même en matière d'exploitation et de maintenance. Lorsqu'une panne ou une anomalie du système se produit, quels sont ses domaines d'impact, quels utilisateurs, services et applications seront affectés et quelles en sont les causes profondes. Grâce à des moyens et à des technologies automatisés, les résultats sont transmis aux utilisateurs sans qu'il soit nécessaire d'effectuer une analyse manuelle par le personnel d'exploitation et de maintenance.

5. Pointez la cause profonde et soyez témoin des résultats

Enfin, la capacité très importante de l'exploitation et de la maintenance automatisées est de pointer la cause profonde et d'être témoin des résultats . Les technologies traditionnelles nécessitent différentes méthodes basées sur la base de connaissances, la CMDB et l'inférence causale, tandis que l'AIOps fournit un positionnement endogène des causes profondes. Il peut ouvrir des dépendances de données. Outre les dépendances entre objets, il peut également ouvrir les dépendances entre différents types de données, telles que les dépendances entre les chaînes d'appels, les journaux et les indicateurs. Il fournit une localisation en temps réel des causes profondes, est hautement adaptable, présente une faible surcharge et une très grande précision. Il dispose également d’une technologie non supervisée et ne nécessite pas trop d’assistance manuelle pour réaliser ces capacités.

Résumé

Si une entreprise veut réussir sa transformation numérique, elle doit s'assurer que toutes les applications, services numériques et plates-formes multi-cloud dynamiques qui soutiennent son fonctionnement peuvent fonctionner parfaitement, et cela doit être fait à chaque instant.

Ces technologies cloud natives hautement dynamiques et distribuées sont complètement différentes des scénarios traditionnels. En conséquence, la complexité provoquée par les microservices, les conteneurs et l’infrastructure cloud définie par logiciel devient désormais incontrôlable. Ces complexités dépassent les limites des capacités de gestion d’équipe et continuent de croître. Si vous souhaitez comprendre à tout moment tout ce qui se passe dans ces environnements en évolution rapide, vous devez améliorer votre observabilité et vos capacités d’exploitation et de maintenance intelligentes.

Nous devons utiliser un haut degré d'automatisation et de technologie intelligente pour rendre l'exploitation et la maintenance natives du cloud plus légères, plus rapides et moins coûteuses, de sorte que l'énergie de l'équipe de l'entreprise doit se concentrer sur les activités de l'entreprise elle-même, et véritablement Avancez. Vers l’ère de l’exploitation et de la maintenance intelligentes.

​

Présentation de l'invité

Zhang Huaipeng, vice-président des produits Chengyun. A rejoint Hangzhou Chengyun Digital Technology Co., Ltd. en 2017 et est responsable de la gestion quotidienne de la gamme de produits [Observation intégrée DataBuff et fonctionnement et maintenance intelligents] Il est responsable de l'équipe de développement de produits intégrés IPD et participe au marché. gestion, analyse de la demande, collaboration en équipe, structuration des processus et contrôle qualité, etc.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!