Lösen Sie Herausforderungen bei der Überwachung von Machine-Learning-Modellen mit Model Performance Management (MPM)

​Übersetzer|Li Rui

Rezensent|Sun Shujuan

In den letzten Jahren hat die Digitalisierung der Welt Organisationen und Unternehmen einzigartige Möglichkeiten und Möglichkeiten eröffnet . Herausforderung. Während der Datenboom mehr Möglichkeiten zur Verbesserung der Entscheidungsgenauigkeit bietet, ist die Analyse und Nutzung dieser Informationen jetzt zeitaufwändiger und teurer. Daher setzen Unternehmen jeder Größe Modelle des maschinellen Lernens (ML) ein, die große Datenmengen verarbeiten und Muster und Zusammenhänge erkennen können, die von Analysten oft unbemerkt bleiben oder unangemessen viel Zeit in Anspruch nehmen. Diese Modelle können die Entscheidungsfindung verbessern und bessere Geschäftsergebnisse erzielen. Einige Modelle des maschinellen Lernens können beispielsweise sehr genaue Vorhersagen darüber treffen, wie schnell sich ein bestimmtes Produkt im nächsten Jahr verkaufen wird, um das Marketing und die Bestandsplanung zu verbessern. Andere Unternehmen sind in der Lage, betrügerische Transaktionen zu erkennen, die zu Umsatzeinbußen in Millionenhöhe führen können. Doch mit der zunehmenden Abhängigkeit von Modellen für maschinelles Lernen wird die Notwendigkeit, die Modellleistung zu überwachen und Vertrauen in künstliche Intelligenz aufzubauen, immer dringlicher. Ohne Modellüberwachung für maschinelles Lernen werden MLOps- und Data-Science-Teams mit den folgenden Problemen konfrontiert sein:

Inkonsistente Modellleistung. Dies kann schwanken, da Modelle für maschinelles Lernen auf historischen Daten trainiert werden, die von den tatsächlichen Daten, die sie in der Produktion sehen, abweichen können.

Mangel an Kontrolle und Debugbarkeit. Da komplexe Systeme für maschinelles Lernen undurchsichtig sind, wissen Praktiker möglicherweise nicht genug über das Modell für maschinelles Lernen, um zu wissen, wie sie es beheben können, wenn etwas schief geht.

Beispiele für Voreingenommenheit. Modelle des maschinellen Lernens können versteckte Verzerrungen in den Daten, auf denen sie trainiert werden, verstärken, wodurch Unternehmen rechtlichen Risiken und Reputationsrisiken ausgesetzt werden und möglicherweise zu schädlichen Folgen für Verbraucher führen.
• Verbessern Sie die Leistung des maschinellen Lernens. Da es schwierig ist, zu verstehen und zu verfolgen, welche Verbesserungen erforderlich sind, werden nach der ersten Veröffentlichung keine weiteren Investitionen in Modelle für maschinelles Lernen getätigt.
• MLOps-Teams mangelt es außerdem eher an Vertrauen in ihre Modelle, was zu mehr Zeitaufwand für das Projekt und mehr Fehlern führen kann. Durch die Modellüberwachung durch maschinelles Lernen können Entwickler Modelle in Pilot- und Produktionsprozessen debuggen, um auftretende Probleme zu erkennen. Dies ist der effizienteste Weg, um erklärbare, faire und ethische KI-Lösungen zu erreichen, die in der heutigen Welt von entscheidender Bedeutung sind. Nehmen wir an, eine Bank verwendet ein maschinelles Lernsystem, um Kredite zu genehmigen. Sie erhält möglicherweise Kundenbeschwerden, in denen die Bank gefragt wird, warum ein bestimmter Kredit abgelehnt wurde, und die Bank wäre dafür verantwortlich, zu erklären, warum das Modell diese Entscheidung getroffen hat. Ohne eine geeignete Überwachungslösung ist es nahezu unmöglich, die Antwort auf diese Frage zu finden.
• Ganz gleich, ob ein Modell für maschinelles Lernen für die Betrugsvorhersage, die Genehmigung von Krediten oder die Ausrichtung von Anzeigen verantwortlich ist, kleine Änderungen können zu Modellabweichungen, ungenauen Berichten oder Verzerrungen führen – was alles zu Umsatzeinbußen führen kann Auswirkungen auf die Glaubwürdigkeit der Marke.

Herausforderungen bei der Modellüberwachung heute

Leider ist die Modellüberwachung für maschinelles Lernen aufgrund der Vielfalt und Anzahl der Modelle für maschinelles Lernen, auf die Unternehmen heute angewiesen sind, komplexer geworden. Modelle des maschinellen Lernens dienen mittlerweile einer Vielzahl von Anwendungsfällen, wie etwa der Bekämpfung von Geldwäsche, Job-Matching, klinischer Diagnostik und Planetenüberwachung. Darüber hinaus gibt es sie in vielen verschiedenen Darstellungen (Tabellen, Zeitreihen, Text, Bilder, Video und Audio). Während diese Modelle die riesigen Datenmengen bewältigen können, mit denen Unternehmen arbeiten müssen, ist ihre Nachverfolgung viel schwieriger und teurer.

Einige Unternehmen haben herkömmliche Lösungen zur Infrastrukturüberwachung eingesetzt, die eine umfassende betriebliche Transparenz ermöglichen sollen, um diese Herausforderungen zu meistern. Andere versuchen, ihre eigenen Tools im eigenen Haus zu entwickeln. In beiden Fällen erfüllen diese Lösungen häufig nicht die besonderen Anforderungen maschineller Lernsysteme. Im Gegensatz zu herkömmlichen Softwaresystemen ist die Leistung maschineller Lernsysteme unsicher und hängt von verschiedenen Faktoren wie Saisonalität, neuen Nutzerverhaltenstrends und oft extrem hochdimensionalen vorgelagerten Datensystemen ab. Beispielsweise muss ein perfekt funktionierendes Anzeigenmodell möglicherweise aktualisiert werden, wenn die neue Weihnachtszeit beginnt. Ebenso lässt sich ein maschinelles Lernmodell, das für die Empfehlung von Inhalten in den USA trainiert wurde, möglicherweise nicht gut auf internationale Benutzerregistrierungen übertragen. Alternativ haben Unternehmen häufig Probleme damit, dass sie aufgrund veralteter Modelle, verschwendeter Zeit zur Fehlerbehebung in der Produktion und zusätzlicher Kosten für die interne Werkzeugwartung nicht skalieren können.

Um Sichtbarkeit und Erklärbarkeit in Modellen für maschinelles Lernen zu ermöglichen und häufige Herausforderungen bei der Modellüberwachung zu meistern, benötigen Unternehmen Lösungen, mit denen sich Modelle für maschinelles Lernen einfach überwachen, interpretieren, analysieren und verbessern lassen sowie Model Performance Management (MPM) verwenden können. .

Wie Model Performance Management (MPM) Leistung und Verzerrung löst

Model Performance Management (MPM) ist ein zentralisiertes Steuerungssystem im Zentrum des maschinellen Lernworkflows, das die Modelllebensdauer verfolgt Erhöhen Sie die Leistung in allen Phasen des Zyklus und schließen Sie die Feedbackschleife des maschinellen Lernens. Mit Model Performance Management (MPM) können Unternehmen durch Erklärungen und Ursachenanalysen tiefe, umsetzbare Erkenntnisse gewinnen und gleichzeitig Leistungsprobleme beim maschinellen Lernen sofort anzeigen, um negative Auswirkungen auf das Geschäft zu vermeiden.

Model Performance Management (MPM) bewertet den Geschäftswert und die Leistung von Modellen kontinuierlich und automatisch neu, gibt Warnungen zur Modellleistung in der Produktion aus und hilft Entwicklern, beim ersten Anzeichen von Voreingenommenheit proaktiv zu reagieren. Da Model Performance Management (MPM) das Verhalten eines Modells vom Training bis zur Veröffentlichung verfolgt, kann es auch erklären, welche Faktoren zu einer bestimmten Vorhersage führen. Durch die Kombination der Modellüberwachung mit anderen Säulen der Beobachtbarkeit maschinellen Lernens wie Erklärbarkeit und Modellgerechtigkeit erhalten Ingenieure und Datenwissenschaftler für maschinelles Lernen ein umfassendes Toolkit, das in ihre Arbeitsabläufe für maschinelles Lernen eingebettet werden kann und ein einziges Dashboard für alle Anwendungsfälle der Modellvalidierung und -überwachung bietet. Unternehmen profitieren vom Model Performance Management (MPM) nicht nur, weil es die Modellüberwachung effizienter macht, sondern auch, weil es Fälle von Voreingenommenheit reduziert, die zu kostspieligen Bußgeldern oder Reputationsschäden führen. Modelle für maschinelles Lernen erfordern während ihres gesamten Lebenszyklus eine kontinuierliche Modellüberwachung und Neuschulung. Mit Model Performance Management (MPM) können Entwickler nicht nur Vertrauen in ihre Modelle gewinnen und die Effizienz steigern, sondern auch die Gründe und Prozesse hinter ihren KI-Ergebnissen verstehen und validieren.

Originaltitel: ​​Solving for ML Model Monitoring Challenges with Model Performance Management (MPM) ​​, Autor: Krishnaram Kenthapadi​

Das obige ist der detaillierte Inhalt vonLösen Sie Herausforderungen bei der Überwachung von Machine-Learning-Modellen mit Model Performance Management (MPM). Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!