Zehn Elemente der Systemarchitektur für maschinelles Lernen

Dies ist eine Ära der Stärkung der KI, und maschinelles Lernen ist ein wichtiges technisches Mittel zur Verwirklichung von KI. Gibt es also eine universelle Systemarchitektur für maschinelles Lernen?

Im kognitiven Bereich erfahrener Programmierer ist alles nichts, insbesondere für die Systemarchitektur. Es ist jedoch möglich, eine skalierbare und zuverlässige Systemarchitektur für maschinelles Lernen aufzubauen, sofern diese auf die meisten auf maschinellem Lernen basierenden Systeme oder Anwendungsfälle anwendbar ist. Aus der Perspektive des Lebenszyklus des maschinellen Lernens deckt diese sogenannte universelle Architektur die wichtigsten Phasen des maschinellen Lernens ab, von der Entwicklung von Modellen für maschinelles Lernen bis hin zur Bereitstellung von Schulungssystemen und Servicesystemen in Produktionsumgebungen. Wir können versuchen, eine solche Systemarchitektur für maschinelles Lernen anhand der Dimensionen von 10 Elementen zu beschreiben.

1. Daten- und Feature-Engineering-Pipeline

Stellen Sie qualitativ hochwertige Daten in einer bestimmten Zeit bereit und generieren Sie nützliche Funktionen für maschinelles Lernen auf skalierbare und flexible Weise. Im Allgemeinen kann die Datenpipeline von der Feature-Engineering-Pipeline getrennt werden. Die Datenpipeline bezieht sich auf die Extraktions-, Transformations- und Ladepipeline (ETL), in der Dateningenieure für die Übertragung von Daten an Speicherorte verantwortlich sind, z. B. auf Objektspeicher basierende Datenseen, und Feature-Engineering-Pipelines konzentrieren sich auf die Konvertierung von Rohdaten in Daten Mithilfe von Funktionen für maschinelles Lernen können Algorithmen für maschinelles Lernen schneller und genauer lernen.

Feature Engineering ist im Allgemeinen in zwei Phasen unterteilt. In der ersten Phase wird die Feature-Engineering-Logik normalerweise von Datenwissenschaftlern während der Entwicklungsphase durch verschiedene Experimente erstellt, um den besten Satz an Features zu finden, während Dateningenieure oder Ingenieure für maschinelles Lernen für die Erstellung von Feature-Engineering-Pipelines für das Modelltraining verantwortlich sind und Produktionsdienste in der Umgebung liefern hochwertige Funktionsdaten.

2. Feature-Speicherung

Speichert Machine-Learning-Feature-Daten, führt eine Versionsverwaltung zur Erkennung, Freigabe und Wiederverwendung durch und stellt konsistente Daten und Machine-Learning-Features für Modelltraining und -dienste bereit, wodurch die Zuverlässigkeit des Machine-Learning-Systems verbessert wird.

Mit Blick auf Feature-Daten für maschinelles Lernen ist Feature-Speicher eine dauerhafte Speicherlösung, die von der Feature-Engineering-Pipeline erstellt wird. Der Funktionsspeicher unterstützt das Training und die Bereitstellung von Modellen. Daher ist es ein sehr wichtiger Teil und eine wichtige Komponente der End-to-End-Architektur des maschinellen Lernsystems.

3. Pipeline für die Schulung und Umschulung von Modellen für maschinelles Lernen

Führen Sie verschiedene Parameter und Hyperparameter für das Training für maschinelles Lernen aus, führen Sie Experimente auf einfache und konfigurierbare Weise durch und zeichnen Sie die verschiedenen Parameter und Modelle auf, anhand derer diese Schulungen durchgeführt werden. Bewerten, validieren, wählen Sie automatisch die leistungsstärksten Modelle aus und zeichnen Sie sie in einer Modellbibliothek für maschinelles Lernen auf.

4. Metaspeicherung von Training und Modellen

Speichert und zeichnet maschinelle Lernläufe auf, einschließlich Parametern, Indikatoren, Codes, Konfigurationsergebnissen und trainierten Modellen, und bietet Modelllebenszyklusverwaltung, Modellanmerkung, Modellerkennung und Modellwiederverwendung sowie andere Funktionen.

Für ein vollständiges maschinelles Lernsystem, das durch Engineering, Modelltraining und Modellbereitstellung gekennzeichnet ist, kann aus den Daten eine große Menge an Metadaten generiert werden. Alle diese Metadaten sind sehr nützlich, um zu verstehen, wie das System funktioniert, um die Rückverfolgbarkeit von Daten->Features->Modell->Server aus zu ermöglichen und nützliche Informationen zum Debuggen bereitzustellen, wenn das Modell nicht mehr funktioniert.

5. Service-Pipeline für maschinelles Lernen

Stellen Sie eine geeignete Infrastruktur für die Verwendung von Modellen für maschinelles Lernen in Produktionsumgebungen bereit und berücksichtigen Sie dabei sowohl den vollständigen Service als auch die Latenz.

Generell gibt es drei Servicemodi: Batch-Service, Streaming-Service und Online-Service. Jeder Servicetyp erfordert eine völlig unterschiedliche Infrastruktur. Darüber hinaus sollte die Infrastruktur fehlertolerant sein und sich automatisch an Anforderungs- und Durchsatzschwankungen anpassen, insbesondere bei geschäftskritischen maschinellen Lernsystemen.

6. Überwachen Sie ML-Modelle in der Produktion

Wenn in der Produktionsumgebung Daten- und Modellabweichungen und Anomalien entdeckt werden, werden Datenerfassungs-, Überwachungs-, Analyse-, Visualisierungs- und Benachrichtigungsfunktionen bereitgestellt und notwendige Informationen zur Unterstützung des System-Debugging bereitgestellt. 7. Pipeline für maschinelles Lernen Einige Pipeline-Frameworks für maschinelles Lernen bieten auch Orchestrierungs- und Architekturabstraktionsfunktionen.

8. Workflow-Orchestrierung

Workflow-Orchestrierung ist die Schlüsselkomponente der Integration eines End-to-End-Systems für maschinelles Lernen, bei dem die Abhängigkeiten aller dieser Schlüsselkomponenten koordiniert und verwaltet werden. Tools zur Workflow-Orchestrierung bieten außerdem Funktionen wie Protokollierung, Zwischenspeicherung, Debugging und Wiederholungsversuche.

9. Kontinuierliche Integration/kontinuierliches Training/kontinuierliche Bereitstellung (CI/CT/CD)

Kontinuierliche Tests und kontinuierliche Integration beziehen sich auf das kontinuierliche Training neuer Modelle mit neuen Daten, die Verbesserung der Modellleistung bei Bedarf und die Aufrechterhaltung von Sicherheit, Agilität und Automatisierung um die Produktionsumgebung kontinuierlich zu bedienen und Modelle bereitzustellen.

10. End-to-End-Qualitätskontrolle für Daten und Modelle

In jeder Phase des End-to-End-Workflows für maschinelles Lernen müssen zuverlässige Datenqualitätsprüfungen, Modellqualitätsprüfungen sowie die Erkennung von Daten- und Konzeptabweichungen eingebettet werden dass das maschinelle Lernsystem selbst zuverlässig und vertrauenswürdig ist. Zu diesen Qualitätskontrollprüfungen gehören unter anderem deskriptive Statistiken, die allgemeine Datenform, fehlende Daten, doppelte Daten, nahezu konstante Merkmale, statistische Tests, Distanzmetriken und die Qualität der Modellvorhersage.

Das Obige kann als die 10 Elemente der Systemarchitektur für maschinelles Lernen bezeichnet werden. In unserer Praxis sollte der gesamte Arbeitsablauf ungefähr gleich bleiben, einige Elemente müssen jedoch möglicherweise optimiert und angepasst werden.

Wie passt man die Systemarchitektur des maschinellen Lernens an?

Wie rationalisiert man architektonische Elemente zu Beginn des Produktdesigns?

Wie kann die Kontinuität der ursprünglichen Systemarchitektur bei der Einführung eines maschinellen Lernsystems gewahrt bleiben?

Das obige ist der detaillierte Inhalt vonZehn Elemente der Systemarchitektur für maschinelles Lernen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!