Praktischer Aufbau und Anwendung eines KI-gesteuerten ereignisintelligenten Analysesystems

1. Hintergrund

Mit der weit verbreiteten Anwendung neuer Technologien wie Virtualisierung und Cloud Computing ist der Umfang der IT-Infrastruktur in Unternehmensrechenzentren schnell gewachsen. Dies führte zu einer Vergrößerung der Computerhardware und -software sowie zu häufigen Computerausfällen. Daher benötigt das Betriebs- und Wartungspersonal an vorderster Front dringend professionellere und leistungsfähigere Betriebs- und Wartungswerkzeuge, um den Herausforderungen gerecht zu werden.

Im täglichen Betrieb und der Wartung von Rechenzentren werden in der Regel grundlegende Überwachungssysteme und Anwendungsüberwachungssysteme zum Aufbau von Fehlererkennungsmechanismen verwendet. Durch die Festlegung voreingestellter Schwellenwerte überschreiten die Anzeigeelemente beim Auftreten verschiedener Software- und Hardware-Anomalien diese Schwellenwerte und lösen so Alarme aus. Betriebsexperten werden umgehend benachrichtigt und führen eine Fehlerbehebung durch, um einen stabilen Betrieb des Rechenzentrums sicherzustellen. Ein solcher Überwachungsmechanismus kann potenzielle Probleme rechtzeitig erkennen und lösen und so die Zuverlässigkeit und Verfügbarkeit des Rechenzentrums verbessern.

Das ereignisintelligente Analysesystem ist ein System, das darauf ausgelegt ist, Alarmübergänge zu lösen und diese zu analysieren und zu verarbeiten. 2. Gesamtarchitektur

1. Systemarchitektur für ereignisintelligente Analyse Integrieren Sie Betrieb und Wartung. Die Erfahrung von Experten wird in einem digitalen Modell gesammelt. Wenn ein Fehler auftritt, kann der Fehler automatisch „identifiziert, analysiert und behoben“ werden, wodurch die mittlere Reparaturzeit (MTTR) verkürzt wird.

Das ereignisintelligente Analysesystem führt KI-Technologie ein, um jedes Modul des Systems zu stärken. Wenn der Betriebs- und Wartungsexperte nicht manuell ein Fehlermodell erstellt, erstellt die KI automatisch einen Fehler für den Alarm, analysiert ihn automatisch und führt ihn dann aus Bereitstellung eines Analyseplans, um Betriebs- und Wartungsexperten bei der Analyse des Fehlers zu unterstützen. Die Stärkung der KI verringert den Modellierungsarbeitsdruck von Betriebs- und Wartungsexperten und gleicht auch die Erfahrungslücken von Betriebs- und Wartungsexperten aus.

Das Folgende ist das Gesamtarchitekturdiagramm des ereignisintelligenten Analysesystems:

Bild

Der blaue Teil ist das Funktionsmodul des ereignisintelligenten Analysesystems und der orange Teil ist das Umsystem, das entsprechende Daten bzw. Schnittstellen bereitstellt.

2. Beziehung zu umgebenden Systemen

Einheitliche Ereignisplattform: Das Alarmsystem sammelt Alarme von verschiedenen Überwachungssystemen (Basisüberwachung, Anwendungsüberwachung und Protokollüberwachung) und wandelt sie nach einer einheitlichen Aggregation in ein einheitliches Format, an Kafka gesendet; das intelligente Ereignisanalysesystem liest alle Alarmdaten aus dem Kafka-System.

Automatisierungsplattform: Betriebs- und Wartungsexperten erstellen vorab einige Orchestrierungen und Skripte auf der Automatisierungsplattform als Methode zur Fehlerbehebung. Nachdem die Fehleranalyse die Grundursache gefunden hat, kann die Entsorgungsaufgabe orchestriert und zur Ausführung ausgegeben werden Rufen Sie schließlich die Automatisierungsplattformschnittstelle auf, um den Zweck der automatischen Entsorgung zu erreichen.

CMDB: Während der Fehleranalyse können Sie die in der CMDB gespeicherten Objektinstanzattribute und -beziehungen verwenden, um gleichzeitig Alarminstanzen und Entsorgungsinstanzen logisch zuzuordnen und gleichzeitig einige Informationen über Objekte rund um das Alarmobjekt anzuzeigen Sie müssen die entsprechenden CMDB-Objektinstanzdaten zuordnen.

ITSM: Stellt Arbeitsauftragsdaten wie Änderungsaufträge und Vorfallaufträge bereit. Wenn ein Fehler auftritt, müssen diese Arbeitsauftragsdaten für die Analyse verwendet werden.

Big-Data-Plattform für Betrieb und Wartung: Die Big-Data-Plattform bietet Datenbereinigungstools, um die intelligente Analyseplattform bei der Bereinigung der erforderlichen Daten zu unterstützen, und bietet außerdem technischen Support für die Speicherung massiver Daten Ereignisintelligente Analyse Es stellt auch Analysedaten für die anschließende KI-Analyse bereit, einschließlich CMDB-Objektdaten, ITSM-Arbeitsauftragsdaten, Überwachungssystemindikatordaten und Alarmdaten usw.

3. Detaillierte Funktionserklärung

1. Fehlererkennung

Die Hauptfunktion der Fehlererkennung besteht darin, ein Fehlermodell zu erstellen, das die Regeln für die Umwandlung von Alarmen in Fehler definieren kann Gleichzeitig ist die Definition von Fehlermodellen auch eine einfache Klassifizierung von Fehlern, z. B. Fehler bei hoher CPU-Auslastung, Fehler bei hoher Speicherauslastung, Fehler bei hoher Festplattenauslastung, Fehler bei Netzwerkverzögerung usw. Vereinfacht ausgedrückt: Welche Alarme können zu einem Fehler werden? , Alarme und Störungen Das quantitative Verhältnis kann entweder 1:1 oder n:1 sein; nur wenn ein bestimmter Fehler auftritt, kann eine spätere Analyse und Beseitigung erleichtert werden.

Alarmformatierung:

Die von der einheitlichen Ereignisplattform empfangenen Alarme werden standardisiert und in das vom ereignisintelligenten Verarbeitungssystem benötigte Format verarbeitet. Einige Felder müssen durch Nachschlagen der Objektinstanzdaten der Konfiguration ergänzt werden Management. .

Fehlermodelldefinition:

Die Definition des Fehlerszenariomodells umfasst hauptsächlich grundlegende Informationen, Fehlerregeln und Analyseentscheidungsfunktionen:

1) Zu den grundlegenden Informationen gehört der Fehlername , zugehöriges Objekt, Fehlerinformationen wie Typ und Fehlerbeschreibung;

2) Fehlerregeln können in folgende Kategorien unterteilt werden:

• Festlegen von Schlüsselwortregeln für den Alarmabgleich: Felder wie Zusammenfassung und Ebene im JSON-Feld des Alarms können als Bedingungen festgelegt werden, und mehrere Regeln können logisch festgelegt werden (UND oder NICHT der Regeln). Berechnung);
• Zeitregeln : einschließlich sofortiger Ausführung (Fehlerinstanzen werden unmittelbar nach Empfang eines Alarms generiert), Warten auf ein festes Zeitfenster (Alarme innerhalb eines Zeitraums nach Beginn des ersten Alarms erzwingen die Aggregation von Fehlerinstanzen) und Warten auf ein gleitendes Zeitfenster ( (nach dem Start des letzten Alarms) Alarme innerhalb eines bestimmten Zeitraums werden zur Aggregation von Fehlerinstanzen gezwungen);
• Standortregeln: Einschließlich derselben Maschine, derselben Bereitstellungseinheit und desselben physischen Subsystems, Alarme, die die Bedingungen innerhalb des angegebenen Bereichs erfüllen werden zu einer Fehlerinstanz zusammengefasst.

3) Ordnen Sie den angegebenen Analyse-Entscheidungsbaum zu, um den Analyseplan zu bestimmen.

2. Fehleranalyse

Bei der Fehleranalyse geht es um die Analyse und Anzeige von Fehlern unter verschiedenen Aspekten, wie z. B. der Anzeige verwandter Daten, der Anzeige topologischer Daten, dem Analyseentscheidungsbaum und dem Abruf von Wissensdatenbanken, um Datenunterstützung für Betrieb und Wartung bereitzustellen Experten helfen ihnen dabei, die Fehlerursache schnell zu finden und den Fehler zu beheben. Der Analyse-Entscheidungsbaum kann mit der Disposition verknüpft werden.

Anzeige relevanter Informationen:

1) Alarmanalyse: Alarmdaten der letzten 48 Stunden für das physische Subsystem, das dem Alarmobjekt und anderen mit der Einsatzeinheit verbundenen Software- und Hardwareobjekten entspricht;

2) Indikator Analyse: Indikatordaten des physischen Subsystems, das dem Alarmobjekt entspricht, und anderer mit der Einsatzeinheit verbundener Software- und Hardwareobjekte innerhalb von 2 Stunden vor dem Ausfall

3) Änderungsanalyse: Änderung der Arbeitsauftragsdatensätze des Systems, das dem Alarmobjekt entspricht; in den letzten 48 Stunden, Änderungsanalyse durchführen;

4) Protokollanalyse: Analysieren Sie die Anwendungsprotokolle und Systemprotokolle der angegebenen Pfade des Alarmobjekts und der umgebenden Objekte und zeigen Sie diese an

5) Linkanalyse: Mit dem Transaktionscode als Kern, das Alarmobjekt. Analysieren und zeigen Sie die Upstream- und Downstream-Verbindungsdaten der beteiligten Transaktionscodes an im gesamten System sind in einer Baumtopologie organisiert. Die Struktur wird angezeigt und Knoten mit Alarmen werden rot markiert, um Betriebs- und Wartungsexperten zu alarmieren.

Spezifische Beispiele sind wie folgt:

Bilder

Analytischer Entscheidungsbaum:

Basierend auf CMDB-Objekten und -Beziehungen, Alarmen, Indikatoren, Änderungen, Protokollen und Links und anderen Daten, Integriert in benutzerdefinierte bearbeitbare Analyse-Entscheidungsbäume.

Betriebs- und Wartungsexperten können die Reihenfolge und Beurteilungskriterien für die Datenanalyse voreinstellen und die Betriebs- und Wartungserfahrung in Form eines digitalen Modells in den Analyse-Entscheidungsbaum einfließen lassen. Wenn ein Fehler auftritt, verwendet die Plattform die Voreinstellung Analyse-Entscheidungsbaum Analysieren und beurteilen Sie relevante Daten und liefern Sie schließlich Ergebnisse.

Die letzten Blattknoten des Analyse-Entscheidungsbaums können mit der Beseitigung verknüpft werden, wodurch der automatisierte Betrieb des gesamten Lebenszyklus „Identifizierung, Analyse und Beseitigung“ von Fehlern gewährleistet wird.

Spezifische Beispiele sind wie folgt:

Bilder

Wissensdatenbanksuche:

Das Rechenzentrum baut ein Wissensdatenbanksystem auf, das auf den Daten auf der Betriebs- und Wartungs-Big-Data-Plattform basiert und hauptsächlich Notfälle sammelt Pläne, Textdaten wie Aufzeichnungen des gesamten Prozesses zur Bearbeitung von Vorfalltickets und Erfahrungszusammenfassungen von Betriebs- und Wartungsexperten.

Wenn ein Fehler auftritt, wird das Fehlerschlüsselwort zum Durchsuchen der Wissensdatenbank verwendet (String-Matching) und das entsprechende Textwissen wird als Expertenerfahrung zurückgegeben. Im Kapitel über die Stärkung der KI werden wir über die Verwendung der Textanalyse für verwandte Suchen und nicht nur über den einfachen String-Abgleich sprechen. 3. Fehlerbehandlung Orchestrierung und Durchführung von Entsorgungsaufgaben.

1) Entsorgungs-Orchestrierung: Die Entsorgungs-Orchestrierung ist eine organische Kombination einer Reihe von Entsorgungsvorgängen, da bei einigen Entsorgungen die Betriebs- und Wartungsobjekte isoliert und dann neu gestartet werden müssen Operationsskripte werden gemäß der festgelegten Reihenfolge verarbeitet. Der Befehl wird an die spezifische Instanzmaschine gesendet und ausgeführt.

2) Entsorgungsoperation: Kapseln Sie das Skript (Shell, Python), damit es auf der Instanzmaschine ausgeführt oder aufgerufen werden kann Die Entsorgungsorchestrierung besteht darin, die kleinsten Aktionen wie Tomcat-Neustart, Isolierung, Leistungsschalter und andere Skripte zu entsorgen. Die Fehlerbehandlung basiert hauptsächlich auf der Erfahrung von Betriebs- und Wartungsexperten oder Notfallplandokumenten werden digital in Modelle umgewandelt.

Nach Abschluss der Fehlerbehandlung werden relevante Aufzeichnungen der Behandlung entsprechend dem Prozess zur anschließenden Überprüfung und Analyse aufgezeichnet.

4. KI-Empowerment

Die Befähigung der KI besteht darin, den manuellen Konfigurationsaufwand zu minimieren und den Arbeitsdruck der Betriebs- und Wartungsexperten im gesamten Prozess der „Identifizierung, Analyse und Beseitigung“ von Fehlern zu verringern. Sie kann auch die Teile ausgleichen, die durch die Erfahrung nicht abgedeckt werden können von Betriebs- und Wartungsexperten und kann 100 % der in der Vergangenheit aufgetretenen Alarmtypen abdecken. Das Gesamtprinzip besteht darin, mithilfe von KI-Berechnungen Fehlermodelle und Analyselösungen im Bereich der Fehleridentifizierung und -analyse durch automatische Modellierung zu erstellen , automatische Aggregation, automatische Analyse usw. Geben Sie Hinweise zu Betriebs- und Wartungsexperten, stellen Sie jedoch sicher, dass die endgültige Beurteilung und Steuerung von Betriebs- und Wartungsexperten vorgenommen wird, um sicherzustellen, dass der Algorithmus 99 % der Arbeit erledigt, und die manuelle Überprüfung stellt die letzte sicher 1 % der Arbeit.

1. Automatische Modellierung

Wenn wir uns an die Definition des Fehlermodells in Kapitel 3-1 erinnern, haben wir festgestellt, dass die Alarmregeln, Zeitregeln und räumlichen Regeln sowie der Analyse-Entscheidungsbaum festgelegt sind Bestimmen Sie, dass ein Fehlermodell erstellt werden kann. Während die Zeitregeln und räumlichen Regeln standardmäßig auf die häufigste sofortige Ausführung und dieselbe Maschine zurückgreifen können, kann der Analyse-Entscheidungsbaum die häufigsten Gesundheitsprüfungen verwenden.

Um ein Fehlermodell zu erstellen und ein Modell für dieselben Fehlertypen zu erstellen, besteht das Kernproblem darin, die Fehler anhand des Alarminhalts zu klassifizieren. Anschließend verwenden wir die Schlüsselwörter des Alarminhalts, um die Klassifizierung zu bestimmen Erstellen Sie ein bestimmtes Fehlermodell. Dann artet das Problem der automatischen Modellierung darin aus, Schlüsselwörter für Alarme zu finden und darauf basierende Fehlermodelle zu erstellen.

Das Gesamtlogikdiagramm sieht wie folgt aus:

Bilder

Geben Sie historische Alarme und Echtzeitalarme nacheinander in das Fehlermodell ein. Wenn das vorhandene Fehlermodell abgeglichen werden kann Beenden Sie diesen Artikel. Alarmverarbeitung. Wenn kein passendes Fehlermodell vorhanden ist, wird das Schlüsselwort des Alarminhalts durch einen Algorithmus berechnet, ein Fehlermodell basierend auf dem Schlüsselwort erstellt und dann das neu erstellte Fehlermodell zum Fehler hinzugefügt Modellliste.

Betriebs- und Wartungsexperten können das Fehlermodell verallgemeinern und durch manuelle Bestätigung online stellen.

Diese automatische Modellierungsmethode bietet die folgenden Vorteile:

1) Sie kann Alarme in Echtzeit verarbeiten, Fehlermodellierung in Echtzeit durchführen und das Modell sehr schnell aktualisieren.

2) Die Modellierung hängt nicht davon ab Basierend auf der Erfahrung von Betriebs- und Wartungsexperten kann die Modellierung direkt über Alarminhalte erfolgen

3) Es kann alle historischen Alarme abdecken und in Echtzeit auf neue Alarme reagieren

4) Es ist kein Betrieb und keine Wartung erforderlich Experten müssen eine große Menge an Modellierungsarbeiten durchführen, wodurch Arbeitskräfte eingespart werden. Betriebs- und Wartungsexperten müssen nur die endgültige manuelle Bestätigung durchführen, wodurch die Effizienz verbessert und gleichzeitig die Ergebnisse sichergestellt werden , haben aber eine geringe Wahrscheinlichkeit, in umfangreichen Dokumenten aufzutauchen, und je größer die Wahrscheinlichkeit des Schlüsselworts, das Ergebnis der Verarbeitung eines Teils des Alarmspeichers ist wie folgt:

Bilder

Verwenden Sie den obigen Algorithmus und unter Verwendung eines Teils des Alarminhalts zur Berechnung ist der erhaltene Dateneffekt wie folgt:

Bilder

Bilder

2. Automatischer Clustering-Fehler

Si Sobald Google veröffentlicht wurde BERT (Bidirektionale Encoderdarstellungen von Transformers) hat die Rangliste bei verschiedenen Textaufgaben angeführt und einen sehr guten Effekt erzielt. Daher wird es zur Berechnung der Textähnlichkeit verwendet, hauptsächlich zur Berechnung der Ähnlichkeit zwischen Alarminhalt und Fehlerbeschreibung.

Erstellen Sie nun unseren Clustering-Algorithmus. Das spezifische Prozessdiagramm lautet wie folgt:

Bilder

Die spezifischen Schritte lauten wie folgt:

1) Bei Bedarf können Sie manuell festlegen die Fehlerbeschreibung als Fehler Die Ankerrichtung des Clusterings ist nicht erforderlich. Wenn nicht, überspringen Sie ihn direkt.

2) Bereinigen Sie die Alarminformationen und entfernen Sie einige nutzlose Zeichen Text der Alarmzusammenfassung Führen Sie eine Textähnlichkeitsberechnung für den Inhalt und die Informationen aller Fehlercluster durch, um ähnliche Ergebnisse zu erhalten (bestimmen Sie, ob sie ähnlich sind, indem Sie beurteilen, ob sie den Schwellenwert überschreiten). Wenn sie ähnlich sind, gehört dieser Alarm dazu zu diesem Fehlercluster.

5) Wenn der Entfernungswert den Schwellenwert nicht überschreitet, legen Sie diesen Alarm als neuen Fehlercluster fest

6) Die Ergebnisse der Schritte 4 und 5 werden in der Liste der Fehlercluster aktualisiert

7) Ab Schritt 2 werden dann die nächsten Alarmdaten verarbeitet.

Dieser Algorithmus kann Alarme verschiedenen Fehlertypen zuordnen. Wenn kein Fehlertyp vorhanden ist, kann ein selbst erstellter Fehlertyp erstellt werden.

Die Vorteile dieses Algorithmus sind wie folgt:

1) Unbeaufsichtigte automatische Fehlerklassifizierung durch historische und Echtzeit-Alarmdaten, ohne dass ein Fehlermodell erstellt werden muss, wodurch Arbeitskräfte gespart werden;

2) Für Echtzeitalarme , Fehlerclusterung Der Prozess gewährleistet Online-Updates in Echtzeit, ohne dass regelmäßige Berechnungen und Modellaktualisierungen erforderlich sind Methoden.

3. Analyseplan automatisch erstellen

Überprüfen Sie Kapitel 3-2 Fehleranalyse. Die Analyse des Fehlers konzentriert sich hauptsächlich auf die Anzeige der Informationen des Fehlerknotens und der umgebenden Knoten sowie auf die Einrichtung des Analyseentscheidungsbaums . Es erfordert auch mehr manuelle Einstellungen.

Erwägen Sie nach der KI-Befähigung die Verwendung von Notfallplänen, Alarmdetails und Anzeigeinformationen in der Fehleranalyse als Eingabeaufforderungen (Eingabeaufforderungen) und nutzen Sie vorhandene große Sprachmodelle mit hervorragenden Ergebnissen, um automatisch Fehleranalyselösungen bereitzustellen.

In Anbetracht der Frage der privatisierten Bereitstellung können große Sprachmodelle ChatGLM2, llama2 usw. in Betracht ziehen. In der spezifischen Implementierungsphase können je nach Bedarf und Hardwareniveau verschiedene große Sprachmodelle ausgewählt werden. LLM wird einheitlich zur Darstellung großer Sprachen verwendet. Bitte beachten Sie die Unterscheidung.

Das Hauptprozessdiagramm sieht wie folgt aus:

Bilder

Nach der Fehlererkennung werden die entsprechenden Echtzeitalarme und angezeigten relevanten Daten abgerufen, kombiniert mit den Notfallplandaten. Um eine Eingabeaufforderungskombination und eine Eingabeaufforderungsaufforderung zu bilden, besteht der Zweck des Wortes darin, beim Stellen von Fragen des LLM-Großsprachenmodells bessere Ausgabeeffekte zu erzielen.

Gleichzeitig werden der Notfallplan und die historischen Alarmdaten stapelweise in der Faiss-Vektordatenbank gespeichert. Die Textmenge in jedem Stapel überschreitet nicht das Token-Limit von LLM Beim großen Sprachmodell wird Prompt die Eingabeaufforderungswörter in der Faiss-Vektordatenbank abfragen, um den Text mit den ähnlichsten Vektoren zu erhalten. Abfrage LLM mit diesen Texten, die die Token-Längenbeschränkung nicht überschreiten, und das zurückgegebene Ergebnis ist die Fehleranalyse Plan (in Textform).

Bitte beachten Sie das Bild unten für den spezifischen Effekt:

Bilder

4. Notfallplansuche

Als notwendiges Handbuch in der Branche zeichnet der Notfallplan perfekt auf Alle Systeme und die Analyse- und Behandlungsschritte für Störungen aller Betriebs- und Wartungsobjekte sind sehr gute Textdaten, auf die man sich verlassen kann. Die Inhalte von Notfallplänen werden an vielen Stellen in diesem System verwendet. Daher ist es notwendig, Abruffunktionen für Notfallpläne bereitzustellen, und das Wissensdatenbanksystem kann als Abrufbasis für Notfallpläne verwendet werden.

kann den Textabruf durch String-Matching, den Schlüsselwortabruf nach der Textanalyse und den Abruf der Vektorähnlichkeit auf semantischer Ebene ermöglichen. In beiden Fällen muss der entsprechende Notfallplan abgerufen werden.

Mehrere der oben genannten Suchmethoden können mit den im vorherigen Artikel genannten technischen Mitteln verarbeitet werden, daher werde ich hier nicht näher darauf eingehen.

5. Fazit

Das ereignisintelligente Analysesystem soll Betriebs- und Wartungsexperten bei der Bedienung und Wartung jedes Systems unterstützen. Daher bietet es eine Reihe von Modellierungsmethoden, damit Betriebs- und Wartungsexperten Betriebs- und Wartungserfahrungen sammeln können Wenn die Datenmenge (Fehlerbeispieldaten sowie betriebs- und wartungsbezogene Daten) immer größer wird, kann der Einsatz einiger KI-Algorithmen die Arbeitsbelastung von Betriebs- und Wartungsexperten verringern und Betriebs- und Wartungsexperten bei der Durchführung von Analysen unterstützen Letztlich ist zu hoffen, dass durch das Eingreifen von Wartungsexperten auch der Zustand des automatischen Betriebs und der Wartung, also der „Selbsterkennung und Wartungsfreiheit“, erreicht werden kann.

Das obige ist der detaillierte Inhalt vonPraktischer Aufbau und Anwendung eines KI-gesteuerten ereignisintelligenten Analysesystems. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!