Technologie SLS basée sur l'IA avec des capacités d'analyse intelligentes innovantes

AIOps apporte des changements révolutionnaires aux travaux d'exploitation et de maintenance

Avec la mise à niveau continue de la technologie du cloud computing, l'échelle de l'infrastructure informatique supportant les activités continue de croître, les relations de liaison entre diverses applications deviennent de plus en plus complexes et une grande quantité de données de journal est générée. La manière dont les données de journal sont collectées, stockées, analysées et traitées est devenue un indicateur important du degré de numérisation d'un système d'entreprise. Les solutions traditionnelles d’exploitation et de maintenance informatique sont également confrontées à d’énormes difficultés face à ces défis. Pour DevOps, la résolution d'un problème peut prendre des heures pour trouver, comparer et analyser. Vous devez examiner divers journaux, données de surveillance et autres informations connexes pour trouver la cause première du problème. Pour les SecOps, effectuer une analyse approfondie d’énormes quantités de données signifie qu’ils doivent identifier rapidement les causes profondes et trouver les anomalies parmi des centaines de téraoctets de données. Ce processus est très long et fastidieux, et peut nécessiter beaucoup de main d’œuvre et de ressources. investissement dans les ressources

Afin de résoudre les problèmes ci-dessus, une nouvelle génération de solutions AIOps doit être introduite. Cette solution permet l'automatisation et l'observabilité complète des liaisons de données grâce à l'analyse de la fusion des données, et fournit des rapports et des règles de diagnostic plus faciles à utiliser, pour que ce que vous voyez soit ce que vous obtenez. Grâce à la technologie IA, les anomalies peuvent être automatiquement détectées plus efficacement et les causes profondes peuvent être rapidement localisées. L'AIOps a apporté des changements révolutionnaires aux travaux d'exploitation et de maintenance

Comment Log Service SLS améliore-t-il l'efficacité ?

Collecte automatisée de données full-stack SLS

• Alibaba Cloud Lens observable pour l'infrastructure cloud : fournit une collecte de données d'exploitation et de maintenance entre comptes, entre régions et unifiées pour les produits cloud, et prend en charge la collecte automatique de mesures, d'indicateurs, de journaux d'accès et d'autres données
• Observabilité des applications Observabilité full-stack : collecte de données full-stack, client vers serveur, infrastructure vers application, analyse de corrélation de données, sur plusieurs sources de données, syntaxe d'analyse complète, prise en charge de contexte riche
• Audit du journal d'audit de sécurité : plus de 50 sources de données sont automatiquement accessibles, des graphiques de visualisation de la situation de sécurité sont intégrés, plus de 100 règles de sécurité de surveillance des alarmes sont fournies et la gestion multi-comptes, la collecte entre comptes et entre régions sont fournies. stockage centralisé

SLS fournit des rapports et des règles de diagnostic prêts à l'emploi

• Règles intégrées de CloudLens : analyse complète de l'exploitation et de la maintenance des produits cloud, prenant en charge des plates-formes de données d'abonnement flexibles telles que les groupes de consommateurs/API/Grafana
• Alarmes intégrées observables Full Stack : alarmes en temps réel, système de gestion des événements, convergence des alarmes, tableau de bord personnalisable, détection d'anomalies intégrée et analyse des causes profondes
• Règles de sécurité intégrées : respectez les normes de conformité, MLA, loi sur la cybersécurité, RGPD et autres, avec près d'une centaine de règles de surveillance de la conformité de sécurité intégrées

SLS lance un écosystème de données ouvert et compatible

• SLS fournit un écosystème de données ouvert et compatible, compatible avec plusieurs sources de données et une collecte unifiée.
• SLS est une plateforme d'analyse de stockage observable open source et rentable. Capacités d'analyse sans serveur intégrées, compatibles avec les moteurs et outils open source, compatibles avec Elasticsearch, Kafka, Prometheus, CK et migration transparente dans 99 % des cas.
• SLS est la meilleure solution pour les entrepôts de données hors ligne et les lacs de données. Il s'intègre à un SIEM tiers pour fournir un audit de sécurité cloud SecOps et prend en charge plusieurs canaux de notification d'alarme.

Innovation de modèle de base pour les scénarios d'exploitation et de maintenance informatique

Alibaba Cloud Log Service (SLS) s'engage à créer des solutions d'exploitation et de maintenance efficaces et observables. Avec de nombreuses années d'expérience en matière d'exploitation et de maintenance et la prise en charge de grands modèles de langage, SLS continue d'améliorer sa compétitivité dans ce domaine. Récemment, SLS a publié un modèle de base d'exploitation et de maintenance intelligent, couvrant des scénarios de données observables tels que les journaux, le suivi et les indicateurs, ainsi que des fonctions de support telles que la détection d'anomalies, l'annotation de segmentation de texte et l'analyse à haute latence des demandes de suivi. Le modèle offre des capacités plug-and-play de détection des anomalies, d'annotation automatique, de classification et d'analyse des causes profondes. Dans un environnement de production, il peut localiser la cause première en quelques secondes sur des milliers de requêtes, avec une précision de plus de 95 %

De plus, SLS permet un réglage fin assisté manuellement. Sur la plateforme de services de journaux, il prend en charge de manière native les commentaires d'annotation pour les journaux, les mesures et les traces, permettant aux clients d'annoter et de corriger rapidement pendant l'utilisation afin d'accumuler des ensembles de données répondant à des scénarios spécifiques. Grâce aux capacités d'annotation de la plateforme, les clients peuvent accumuler des étiquettes de données d'exploitation et de maintenance de haute qualité à partir de zéro, offrant ainsi des possibilités illimitées pour la formation future du modèle de diagnostic des causes profondes. À l'avenir, les clients pourront affiner les modèles dans des domaines spécifiques pour leurs propres données annotées, les déployer rapidement et créer des services de modèles privés. Cette fonction prend en charge l'annotation automatique et le réglage fin assisté manuellement, et prend également en charge la correction des résultats d'annotation manuelle. Le modèle est automatiquement affiné en fonction du retour manuel pour améliorer la précision de la scène

.

SLS devient un assistant intelligent important en aidant à générer des instructions de requête. Lancement du grand modèle Alibaba Cloud CloudLens Copilot pour faciliter la maintenance et les opérations des installations cloud. En adoptant la technologie NL2Query basée sur de grands modèles de langage pour comprendre avec précision les intentions de requête de l'utilisateur et améliorer la précision des résultats de requête, il n'est pas nécessaire de comprendre le langage SQL complexe et la syntaxe des requêtes, et elle peut convertir avec précision les requêtes en langage naturel en requêtes SQL et en graphiques visuels. établir un graphe de connaissances basé sur des scénarios, un apprentissage continu, une optimisation continue des ajustements du modèle et des mises à jour de la base de connaissances, ainsi qu'une amélioration continue de la précision et de l'effet des réponses aux questions

Exemple de scénario : Détection intelligente d'analyse d'anomalies et analyse des causes profondes

Nous proposons une solution pour les scénarios avec des appels et des dépendances complexes dans le système de service de jeu. Nous utilisons les données Trace du service pour générer automatiquement des cartes topologiques et effectuer des analyses et des diagnostics d'analyses à latence élevée, d'analyses à taux d'erreur élevé, de points chauds et de goulots d'étranglement du système, etc. pour raccourcir le temps de traitement des problèmes et optimiser la latence du système

Grâce à la carte topologique générée automatiquement, nous pouvons localiser rapidement les causes profondes des anomalies et des goulots d'étranglement de performances dans les données de trace massives sans intervention manuelle. Cette méthode peut améliorer l'efficacité de la localisation anormale dans les systèmes distribués à grande échelle et atteindre la localisation de la cause première au niveau de milliers de requêtes par seconde. Dans un environnement de production, la précision de cette solution peut atteindre 95%

Modèle de base d'exploitation et de maintenance intelligentes

Les technologies AIOps traditionnelles, telles que la détection des anomalies et la localisation des causes profondes, présentent les deux problèmes principaux suivants :

• L'algorithme AIOps implique la configuration de nombreux seuils et règles. Ces éléments de configuration nécessitent des tests et une sélection répétés dans différents scénarios commerciaux. Par conséquent, le coût de maintenance de l'algorithme est relativement élevé et il est difficile d'évoluer avec les changements de scénarios commerciaux
• La construction des modèles AIOps utilise généralement des données du domaine privé, qui souffrent souvent du problème de la petite quantité et de la mauvaise qualité des données. Cela se traduit par de faibles capacités de généralisation et de migration du modèle, qui doit souvent être reconstruit dans différents scénarios commerciaux

En réponse aux problèmes ci-dessus, SLS a maintenant lancé une capacité de modèle universelle pour un fonctionnement et une maintenance intelligents. Nous avons développé des modèles de base pour analyser les journaux, les informations de suivi et les données des indicateurs respectivement, et fournissons des algorithmes de détection d'anomalies prêts à l'emploi, une analyse des causes profondes et un étiquetage automatique. Notre modèle est capable de localiser les causes profondes en quelques secondes sur des milliers de requêtes, avec une précision de plus de 95 % dans les environnements de production. Pour différents types de données, nous choisissons différentes tâches pour la pré-formation

• Modèle de base métrique : peut être préparé pour identifier la détection d'anomalies temporelles, la prédiction temporelle, la détection morphologique, etc., afin de faciliter des inspections plus intelligentes
• Modèle de base de journal : pour les scénarios de journaux, il fournit de riches fonctionnalités LogNER pour aider à extraire des modèles de journaux avec des informations sémantiques)
• Modèle de base Trace : prend en charge le diagnostic à haute latence des données Trace du protocole OT

Les produits dotés de modèles de base spécifiques à un domaine peuvent être utilisés immédiatement sans processus de déploiement fastidieux. Vous pouvez commencer à les utiliser en un seul clic, abaissant ainsi considérablement le seuil d'utilisation des fonctions de base de Log Service par les clients. Les clients n'ont pas besoin d'affiner le modèle dans des scénarios spécifiques, ils peuvent simplement utiliser directement le modèle de base général fourni par Log Service pour obtenir de bons résultats

Le grand modèle Alibaba Cloud Lens Copilot aide à l'exploitation et à la maintenance des infrastructures

Alibaba Cloud Intelligent Lens Copilot fournit une prise en charge de la maintenance et de l'exploitation des installations cloud grâce à des modèles puissants, résolvant efficacement les problèmes rencontrés par les utilisateurs en termes de méconnaissance de la syntaxe SLS, de manque de connaissances du domaine d'activité et de corpus de questions et réponses de haute qualité

• Identifier avec précision l'intention : Utilisez la technologie NL2Query basée sur de grands modèles de langage pour comprendre avec précision l'intention de requête de l'utilisateur et améliorer la précision des résultats de la requête
• Résultats et rapports WYSIWYG : Pas besoin de comprendre le langage SQL complexe et la syntaxe des requêtes, convertissez avec précision les requêtes en langage naturel en requêtes SQL et en graphiques visuels
• Apprendre automatiquement les données d'actifs : Intégrez les données d'actifs et le graphique de connaissances dans Alibaba Cloud Lens, apprenez en continu les données d'actifs et optimisez automatiquement les ajustements du modèle

Résumé

Avec l’amélioration des capacités de l’IA, les capacités d’analyse intelligente de SLS seront considérablement améliorées. SLS vise à exploiter les données et les algorithmes pour soutenir l'innovation AIOps avec les avantages suivants :

• Facile à utiliser

Les clients peuvent facilement utiliser des fonctions telles que la détection des anomalies des indicateurs, la segmentation intelligente des mots du texte du journal et le diagnostic de latence élevée des liens de trace sur la console Log Service, permettant aux clients de découvrir l'omniprésence des modèles

Les modèles de base dans des domaines spécifiques ont été préparés à l'avance et peuvent être utilisés directement, éliminant ainsi le besoin de processus de déploiement fastidieux et peuvent être démarrés en un seul clic

Le grand modèle de langage lancé cette fois dans des domaines spécifiques peut abaisser considérablement le seuil permettant aux clients d'utiliser les fonctionnalités de base du service de journalisation, de sorte que le grand modèle de langage puisse aider à générer des instructions de requête et devenir un assistant intelligent important

• Flexibilité

1. Les clients n'ont pas besoin d'affiner le modèle dans des scénarios spécifiques. Il leur suffit d'utiliser le modèle de base général fourni par Log Service pour obtenir de bons résultats

.

Sur la plateforme de service de journalisation, il prend en charge de manière native les capacités d'annotation et de retour d'information de Log, Metric et Trace, permettant aux clients d'annoter rapidement pendant l'utilisation et d'accumuler des ensembles de données répondant à des scénarios spécifiques

• Évolutivité

Grâce à la puissante puissance de calcul d'Alibaba Cloud, le modèle général de base fourni par Log Service peut permettre une expansion et une migration rapides des services

À l'avenir, les clients auront la possibilité d'affiner des modèles spécifiques à un domaine et de les déployer rapidement en parallèle pour créer des services de modèles privés

Lien original : https://developer.aliyun.com/article/1396326?utm_content=g_1000386345

Veuillez ne pas copier ou réimprimer cet article. Cet article est le contenu original d'Alibaba Cloud et ne peut pas être reproduit sans autorisation

.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!