Praxis der automatischen Plattform für maschinelles Lernen von Duxiaoman

Mit der Entwicklung der KI-Technologie werden die in verschiedenen Unternehmen eingesetzten KI-Technologien immer vielfältiger. Gleichzeitig nimmt die Anzahl der KI-Modellparameter von Jahr zu Jahr explosionsartig zu Können Sie die hohen Entwicklungskosten und die starke Abhängigkeit von manueller Arbeit bei der Implementierung von KI-Algorithmen überwinden? Probleme wie Algorithmusinstabilität und lange Implementierungszyklen sind zu Problemen geworden, die Praktiker der künstlichen Intelligenz plagen. Die „Plattform für automatisches maschinelles Lernen“ ist die Schlüsselmethode, um den Druck der KI-Implementierung zu lösen. Heute werde ich Du Xiaomans praktische Erfahrung beim Aufbau der automatischen Plattform für maschinelles Lernen ATLAS mit Ihnen teilen.

1. Plattform für maschinelles Lernen

Lassen Sie uns zunächst den Hintergrund, den Entwicklungsprozess und die aktuelle Situation der Plattform für maschinelles Lernen von Du Xiaoman vorstellen. 1. Geschäftsszenarien: Du Xiaoman ist ein Finanztechnologieunternehmen : Dabei handelt es sich um NLP-Technologien wie relationales Data Mining, Text Data Mining und Stimmungsanalyse sowie CV-Technologien wie Gesichtserkennung.

Intelligente Kundenakquise: Einbindung gängiger Werbekundenakquise-Technologien, wie personalisierte Preisgestaltung, personalisierte Empfehlungen, kreative Werbung und Nutzerporträts.

Intelligentes Management: Einbeziehung von KI-Algorithmustechnologien wie graphisches neuronales Netzwerk, kausale Inferenz und OCR.

Da die im Unternehmen eingesetzten KI-Technologien sehr vielfältig sind, bringt dies große Herausforderungen bei der Implementierung von KI-Algorithmen mit sich.
• 2. Das Problem der Implementierung von KI-Algorithmen
• Bei der Implementierung von KI-Algorithmen gibt es ein unmögliches Dreieck: Es ist schwierig, eine hohe Effizienz, niedrige Kosten und eine hohe Qualität der Algorithmenentwicklung zu erreichen zur gleichen Zeit.

KI-Algorithmus ist teuer: Erstens: Die Schwelle für die Entwicklung von KI-Algorithmen ist sehr hoch. Beispielsweise weisen die OCR-Technologie und die Gesichtserkennungstechnologie, die bei der Finanzrisikokontrolle eingesetzt werden, hohe Eintrittsbarrieren auf. Nicht alle Unternehmen können sie meistern, und nur wenige Unternehmen können das höchste Niveau erreichen. Zweitens verbraucht der KI-Algorithmus viele Hardwareressourcen. Zum Beispiel erfordert das Training eines Gesichtserkennungsmodells oder eines groß angelegten NLP-Modells die Investition einer großen Menge an Rechenressourcen, was eine unsichtbare Schwelle darstellt.

Der Effekt des KI-Algorithmus ist instabil: Der Effekt des KI-Algorithmus hängt von der Erfahrung des Experten ab, verschiedene Personen liefern unterschiedliche Ergebnisse und es gibt Instabilitätsfaktoren.

Der Bereitstellungszyklus eines KI-Algorithmus ist lang: Der Entwicklungszyklus eines ausgereiften Algorithmus von der Entwicklung bis zur Bereitstellung kann leicht mehrere Monate oder länger dauern, und oft ist eine maßgeschneiderte Entwicklung auf der Grundlage umfangreicher Geschäftsszenarien erforderlich, und das endgültige Modell ist vorhanden eine Lücke zwischen Ausgabe und Algorithmusimplementierung.

• Angesichts dieser Probleme der KI-Implementierung denke ich, dass die einzige Lösung darin besteht, eine Plattform für maschinelles Lernen zu verwenden. 3. KI-Algorithmus-Produktionsprozess
• Lassen Sie uns die spezifischen Schwierigkeiten verstehen, die bei der Implementierung von KI-Algorithmen aus dem KI-Algorithmus-Produktionsprozess auftreten.

• Die Implementierung von KI-Algorithmen ist hauptsächlich in vier Teile unterteilt: Datenverwaltung, Modelltraining, Algorithmusoptimierung sowie Bereitstellung und Freigabe. Modelltraining und Algorithmusoptimierung sind ein iterativer Prozess.

  In jedem Schritt der Algorithmusentwicklung variieren die technischen Anforderungen an die Beteiligten stark: #🎜🎜 ##🎜🎜 #

  • Datenmanagement: Technisches Personal ist erforderlich, um das Geschäft und die Datenverwaltung sowie die damit verbundenen Big Data zu verstehen Technologien.
  • Modelltraining und Algorithmusoptimierung: Es ist erforderlich, die Grundprinzipien von Algorithmusmodellen zu verstehen und Sie verfügen über Erfahrung in der Optimierung von Algorithmen.
  • Deployment Release: Erfordert Vertrautheit mit Back-End-Entwicklung und Webserver-bezogenen Technologien.

  Anhand des für jeden Schritt erforderlichen Technologie-Stacks lässt sich erkennen, dass es schwierig ist, ein oder zwei oder mehr zu haben Drei technische Mitarbeiter müssen alle Technologien vollständig beherrschen und jeder Schritt ist mit Handarbeit verbunden. Dies stellt einen Produktionsengpass dar, der zu einer instabilen Produktion führt. Der Einsatz von Plattformen für maschinelles Lernen kann diese beiden Probleme lösen.

  4. Plattform für maschinelles Lernen ATLAS

  unser maschinelles Lernen Die Plattform ATLAS durchläuft den gesamten Prozess der KI-Produktion und zielt darauf ab, die manuelle Beteiligung an der Implementierung von KI-Algorithmen zu ersetzen, eine effiziente Ausgabe zu erzielen und die Effizienz der Forschung und Entwicklung von KI-Algorithmen zu steigern.

  

  ATLAS umfasst die folgenden vier Plattformen: #🎜🎜 #

  Anmerkungsplattform: verantwortlich für die Erstellung von Annotationsdaten, die für das Training verfügbar sind; ?? ; #🎜 🎜#
  • Bereitstellungsplattform: Bietet effiziente, kostengünstige und hochverfügbare Bereitstellungslösungen.
  Es gibt auch eine iterative Beziehung zwischen diesen vier Plattformen. Die Designdetails und Betriebsprozesse dieser Plattformen werden im Folgenden vorgestellt.
  • 5. ATLAS: Daten und Training
  • #🎜🎜 #

  Der Daten- und Trainingsteil umfasst die Annotationsplattform, die Datenplattform und die Trainingsplattform.

  (1) Anmerkungsplattform

  # 🎜🎜#Die Annotationsplattform stellt hauptsächlich Annotationsdaten für das Training von KI-Algorithmen bereit. Seit der Geburt des Deep Learning sind Modelle sehr komplex geworden. Der Engpass der KI-Algorithmuseffekte hat sich vom Modelldesign hin zur Datenqualität und -quantität verlagert Die Produktion ist ein entscheidendes Glied bei der Implementierung von KI-Algorithmen.

  Die Datenannotationsplattform von ATLAS verfügt hauptsächlich über zwei Funktionen: Abdeckung mehrerer Szenarien und intelligente Annotation.

  • Multi-Szenario-Abdeckung: Die Annotationsplattform von ALTAS deckt alle Algorithmusszenarien ab, die im unternehmensinternen Geschäft eine Rolle spielen. Einschließlich Texterkennung, Texterkennung, Gesichtserkennung und Gesichtsvergleich in OCR, Bildklassifizierung im CV-Bereich und Datenanmerkung für Aufgaben wie Entitätsbeziehungen und Textbeschriftungen im NLP-Bereich.
  • Intelligente Annotation: Um die Effizienz der Datenannotation zu verbessern, bietet die ATLAS-Annotationsplattform auch intelligente Annotation. Beinhaltet intelligente Voranmerkung und intelligente Fehlerkorrektur. Unter intelligenter Vorkennzeichnung versteht man die Verwendung eines trainierten Modells, um Daten vorab zu kennzeichnen und diese anschließend manuell zu überprüfen, um die Kennzeichnungseffizienz zu verbessern. Unter intelligenter Fehlerkorrektur versteht man die Bezugnahme auf vorab gekennzeichnete Ergebnisse und das Starten eines Neukennzeichnungsprozesses für Kennzeichnungsergebnisse mit geringer Konfidenz. 2) Datenplattform Auf der Grundlage der Speicherung von mehr als 5.000 Merkmalsdimensionen von Hunderten Millionen Benutzern kann eine
  Online-Echtzeitabfrage
  erreicht werden. Dynamische Matching-Proben können die Probenauswahl- und Datenauswahlanforderungen verschiedener Szenarien erfüllen.
  (3) Trainingsplattform

  Die Trainingsplattform ist eine sehr wichtige Einrichtung, die in fünf Schichten unterteilt ist: Planungsschicht: Die Trainingsplattform umfasst die Verwaltung von Hardwareressourcen Die unterste Planungsschicht ist für die Planung dieser Ressourcen verantwortlich.

  Kontrollschicht: Über der Planungsschicht befindet sich die Kontrollschicht, die eine asynchrone und verteilte Workflow-Steuerung realisiert, indem sie maschinelle Lernaufgaben in einige Workflows umwandelt.

  Funktionsschicht: Implementiert einige Grundfunktionen der Plattform für maschinelles Lernen, einschließlich AutoML, Parallel Computing und Graph Computing.

  • Anwendungsschicht: Basierend auf einigen zugrunde liegenden technischen Fähigkeiten werden die Technologie und Fähigkeiten der KI-Algorithmusentwicklung in verschiedene spezifische Funktionspipelines gepackt.
  • Benutzerebene: Über der Anwendungsebene können Benutzer diese voreingestellten Grundfunktionen nutzen, um ihre Arbeitsziele zu erreichen.
  • 6. Die Bereitstellung erfolgt online
  Unsere Bereitstellung verwendet eine Serverless-ähnliche Architektur, weil es sich nicht um einen vollständig serverlosen Dienst handelt. Da unsere Dienste nicht auf eine breite Palette allgemeiner Anwendungsszenarien ausgerichtet sind, sondern nur auf Online-Dienste von Modellen, besteht keine Notwendigkeit, die Kompatibilität mit weiteren Szenarien zu berücksichtigen.
  Die API-Schnittstellenschicht stellt drei Teile bereit, mit denen das Modell in Kontakt kommt:

  Grundlegende Funktionsverarbeitung

  Vorhersage des Modells selbst

  Bezüglich die Möglichkeit, auf externe Daten zuzugreifen

  • Für Benutzer müssen Benutzer nur auf den orangefarbenen Teil im Bild achten. Die von der Plattform bereitgestellte API kann die Entwicklungskosten senken und ist mit fast allen Algorithmen kompatibel Der Markt. Durch die Verwendung der API zur Entwicklung eines Modells kann der Prozess von der Entwicklung bis zur Implementierung innerhalb eines Tages oder sogar eines halben Tages abgeschlossen werden. Darüber hinaus können wir durch Clustermanagement eine gute Stabilitätsgarantie, Verkehrsmanagement und Kapazitätsmanagement für die Plattform gewährleisten.
  • 7. ATLAS: Optimierungsiteration
  • Das Folgende zeigt die Szenarien von zwei Optimierungsiterationen auf ATLAS.
  Szenario 1: Kontinuierliche Iteration von Online-Modellen bezogen auf die vorhandenen Anmerkungsdaten Nach der Fusion wird daraus ein neuer Datensatz, und dann wird das alte Modell über die AutoML-Optimierungspipeline optimiert, um ein neues Modell zu generieren. Nachdem das neue Modell bereitgestellt wurde, wiederholt sich der Zyklus. Durch einen solchen Zyklus kann das Modell eine zusätzliche Verbesserung der Genauigkeit um 1 % aufrechterhalten. Da die Genauigkeit des OCR-Modells sehr hoch ist, im Allgemeinen über 95 %, ist 1 % auch eine große Verbesserung.

  

  • Szenario 2: AutoML-gesteuerte Optimierung

  Verwenden Sie stattdessen Vollprozess-AutoML für einfache und sich wiederholende Optimierungsprozesse, verwenden Sie AutoML als Hilfsoptimierung für Szenarien, die Expertenerfahrung erfordern, und verwenden Sie Vollprozess-AutoML AutoML Die Ergebnisse werden als Baseline verwendet, um das optimale Modell auszuwählen und online bereitzustellen. In unserem Unternehmen wurden durch diese Optimierungsmethode in mehr als 60 % der Szenarien Leistungsverbesserungen erzielt, wobei die Verbesserungseffekte zwischen 1 % und 5 % lagen.

  • 2. Automatisches maschinelles Lernen
  Im Folgenden wird vorgestellt, welche AutoML-Technologien wir verwenden und welche Verbesserungen wir vorgenommen haben.

  1. Expertenmodellierung und AutoML

  Lassen Sie uns zunächst die Vorteile von AutoML im Vergleich zur herkömmlichen Expertenmodellierung vorstellen.

  Die Vorteile von AutoML lassen sich in drei Aspekte unterteilen:

  Effizienzaspekt: ​​AutoML kann den Entwicklungszyklus des KI-Algorithmus erheblich verkürzen und an einem Tag traditionelle Expertenmodellierung erstellen Das dauert Monate.

  

  In Bezug auf die Schwelle: AutoML kann die Notwendigkeit einer Expertenbeteiligung reduzieren und die Forschungs- und Entwicklungsschwelle senken.

  In Bezug auf die Stabilität: Die Modellierung basiert auf manueller Erfahrung und der Optimierungseffekt ist nicht gut. Stabil, und AutoML kann den Einfluss der Erfahrung eliminieren und das Potenzial des Algorithmus voll ausschöpfen.
  2. Einführung in AutoML
  • Lassen Sie uns die in AutoML häufig verwendeten Technologien vorstellen.

  AutoML häufig verwendete Technologien umfassen drei Aspekte:

  Super-Parameteroptimierung: Die am häufigsten verwendeten sind Black-Box-Optimierung und Multi-Fidelity-Optimierung;

  

  Meta-Lernen: Lernen aus Aufgabeneigenschaften oder früheren Modellen;

  Netzwerkstruktursuche: speziell für neuronale Netzwerkszenarien, unter Einbeziehung verschiedener Suchräume und Suchalgorithmen.
  • Im eigentlichen Arbeitsprozess werden je nach Aufgabenszenario unterschiedliche Technologien ausgewählt und diese Technologien können in Kombination eingesetzt werden.
  • In den folgenden Abschnitten werden jeweils diese drei Technologien vorgestellt.
  3. Plattform für automatisches maschinelles Lernen: automatische Optimierungspipeline

  ​Der erste Teil ist der Superparameteroptimierungsteil. Tatsächlich wird in unserer automatischen Optimierungspipeline die gesamte Pipeline für maschinelles Lernen als Ziel der automatischen Optimierung verwendet, nicht nur für die Hyperparameteroptimierung. Einschließlich automatisierter Feature-Entwicklung, Modellauswahl, Modelltraining und automatischer Integration usw. verringert dies die Möglichkeit einer Überanpassung im Vergleich zur individuellen Hyperparameteroptimierung.

  Darüber hinaus haben wir ein AutoML-Framework namens Genesis implementiert, das mit gängigen KI-Algorithmen und AutoML-Tools kompatibel ist. Es ist außerdem erweiterungsfreundlich und kann verschiedene Funktionsmodule orthogonal in die Plattform integrieren Sie können frei kombiniert werden, um eine flexiblere automatische Optimierungspipeline zu erreichen. ​

  4. Automatische maschinelle Lernplattform: Meta-Learning-System #Die

  Meta-Learning

  -Methode wird auch in unserem System verwendet Im Folgenden werden die Notwendigkeit der Meta-Lernmethode und die wichtigsten Szenarien ihrer Anwendung vorgestellt.

  (1) Die Notwendigkeit des Meta-Lernens

  # 🎜 🎜#

  Nachdem wir eine große Menge experimenteller Daten gesammelt hatten, stellten wir fest, dass die Datensätze eine offensichtliche Aggregation im Meta-Feature-Raum aufweisen, sodass wir davon ausgehen, dass die optimalen Lösungen Datensätze mit enger Verteilung im Meta-Feature-Raum sind Der Raum wird auch in der Nähe sein. Basierend auf dieser Annahme verwenden wir die Hyperparameter von historischen Aufgaben, um die Parameteroptimierung neuer Aufgaben zu steuern und stellen fest, dass die Hyperparametersuche schneller konvergiert und der Algorithmuseffekt bei begrenztem Budget verbessert werden kann noch einmal 1 %.

  (2) Anwendungsszenario

  # 🎜🎜#

  Szenario 1: Ableitung bestehender Datensätze

  • In Big-Data-Anwendungsszenarien manchmal Es ist notwendig, vorhandene Datensätze zusammenzuführen, z. B. Datensatz A und Datensatz B zusammenzuführen, um einen neuen Datensatz C zu generieren. Wenn die Hyperparameter von Datensatz A und Datensatz B als Kaltstartanleitung für Datensatz C verwendet werden, Die Die Hyperparameteroptimierung des Datensatzes C kann einerseits den Suchraum sperren und andererseits optimale Parameteroptimierungsergebnisse erzielen.

  Szenario 2: Datensatz wiederholt abgetastet #🎜🎜 #

  Im eigentlichen Entwicklungsprozess ist es manchmal erforderlich, den Datensatz abzutasten und dann die Superparameter des abgetasteten Datensatzes zu optimieren, da die Metadaten des abgetasteten Daten Die Merkmalsraumverteilung liegt nahe an den Originaldaten, sodass die Optimierungseffizienz durch die Verwendung der Hyperparameter des Originaldatensatzes zur Steuerung der Hyperparameteroptimierung der abgetasteten Daten verbessert werden kann.
  • 5. Automatische maschinelle Lernplattform: Deep-Learning-Optimierung
  Schließlich gibt es noch die automatische Optimierung, die wir für Deep-Learning-Szenarien durchgeführt haben. Es ist in zwei Aspekte unterteilt: Superparameteroptimierung und Erforschung von NAS:

  

  Deep-Learning-Superparameteroptimierung#🎜 🎜 #
  Der Entwicklungsengpass beim Deep Learning ist die Trainingszeit. Eine Iteration dauert Stunden bis Tage, die Verwendung der traditionellen Bayes'schen Optimierung erfordert also zwanzig bis zu dreißig Iterationen, und die Trainingszeit dauert von einem Monat bis zu mehreren Monaten. Daher werden wir die Hyperband-Methode verwenden, um Keime für die Bayes'sche Optimierung im Deep-Learning-Hyperparameter-Optimierungsteil bereitzustellen und den Hyperparameter-Suchprozess zu beschleunigen. Auf dieser Grundlage werden wir auch historische Dateninformationen verwenden, um den Kaltstart zu optimieren, und historische alternative Modelle für die Integration verwenden, wodurch eine globale optimale Lösung mit einer schnelleren Konvergenzgeschwindigkeit als bei der zufälligen Initialisierung erreicht wird.
  • • NAS-Erkundung

    Im tatsächlichen Entwicklungsszenario , Verschiedene Bereitstellungsszenarien stellen unterschiedliche Anforderungen an die Modellskala und die Zeitleistung. Zweitens ist die Optimierung der neuronalen Netzwerkstruktur ein wichtiger Teil der Modelloptimierung. In diesem Schritt müssen wir manuelle Eingriffe beseitigen. Deshalb haben wir diese One-Shot-NAS-Methode basierend auf der Gewichtsverschränkung vorgeschlagen. Die Sucheffizienz kann mehr als dreimal so hoch sein wie die der klassischen DARTS-Methode, und die Parametermenge und die Berechnungskosten des durchsuchten Subnetzwerkmodells sind kontrollierbar innerhalb des Ziels ausgewählt werden. Darüber hinaus unterstützen wir auch verschiedene Bereiche wie MobileNet und ResNet, um unterschiedliche Anforderungen an Lebenslaufaufgaben zu erfüllen. #? Umfang und Effizienz, die beim Aufbau von Plattformen für maschinelles Lernen auftreten.

    1. Deep-Learning-Dilemma

    Der Grund, warum wir bezahlen Achtung Skalierungs- und Effizienzprobleme entstehen, weil beim Deep Learning ein Konflikt zwischen Modellgröße und Rechenanforderungen besteht. Mehr Modellparameter bedeuten Es ist der Konsens der Branche, eine bessere Modellleistung zu erzielen. Beim Deep Learning gibt es das folgende Mooresche Gesetz:

    Der Maßstab der Modellparameter verzehnfacht sich pro Jahr#🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜##Hardware -Leistung hat sich in 18 Monaten verdoppelt#🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 #

    Daher muss die Lücke zwischen dem schnell wachsenden Rechenbedarf und der Hardwareleistung durch Optimierung geschlossen werden.

    2. Datenparallelität

    

  Die am häufigsten verwendete Optimierungsmethode ist Parallelität, einschließlich Datenparallelität, Modellparallelität usw. Am häufigsten wird die datenparallele Technologie verwendet. Datenparallele Technologie der ATLAS-Plattform Es weist die folgenden Merkmale auf:

  #

  Als Grundfunktion von ATLAS kann es sein ohne Sinn verwendet;
  • #🎜🎜 # unterstützt nicht nur künstliche neuronale Netzwerkmodelle, sondern unterstützt auch Boosting-Modelle wie XGB, LGBM usw .;
  • #🎜 🎜#Unterstützt die optimierte parallele Effizienz mehrerer Kommunikationsarchitekturen; sowohl für das neuronale Netzwerkmodell als auch für das Boosting-Modell ist der Durchsatz linear verbessert, und für das neuronale Netzwerkmodell erhöht das parallele Training den trainierbaren Maßstab, beschleunigt die Konvergenzgeschwindigkeit und verbessert letztendlich die Modellgenauigkeit.

  3. Modellparallelität

  und einige Modelle können Trainingseffizienzprobleme nicht lösen, indem sie sich ausschließlich auf Datenparallelität verlassen, sondern müssen auch Modellparallelitätstechnologie einführen.

  ATLAS-Modellparallelität ist hauptsächlich in zwei Aspekte unterteilt: #🎜🎜 #

  Szenario 1: Parallelität innerhalb der Schicht Eine so vollständige Verbindungsschicht kann von einer GPU-Karte nicht abgedeckt werden. Zu diesem Zeitpunkt muss eine schichtinterne Paralleltechnologie eingeführt werden, und verschiedene Knoten berechnen unterschiedliche Teile desselben Tensors.

  Szenario 2: Inter-Layer-Parallelität (Pipeline-Parallelität)
  Inter-Layer-Paralleltechnologie wird ebenfalls verwendet, das heißt, Daten verschiedener Schichten des Netzwerks werden auf verschiedenen Knoten berechnet , und es wird kein abhängiges Berechnungs-Frontend geben, um den Leerlauf (GPU-Wartezeit) während der Berechnung zu reduzieren. 4. Graphenparallelität

  Für Diagrammdaten, unabhängig davon, ob es sich um Stichproben oder andere Vorgänge handelt, müssen Knoten dynamisch überquert werden, und Diagrammdaten sind im Allgemeinen sehr groß. Unsere internen Diagrammdaten haben eine Größenordnung von mehreren zehn Milliarden erreicht . Die Berechnung von Diagrammdaten ist auf einem einzelnen Computer schwierig durchzuführen.

  Der Engpass beim verteilten Berechnen von Diagrammdaten liegt in der Zuordnungstabelle. Die Speicherplatzkomplexität der herkömmlichen Zuordnungstabelle beträgt O(n). Diagrammdaten mit 1 Milliarde Punkten und 1 Milliarde Kanten belegen 160 GB Speicher, der eine verteilte Trainingsskalendecke bildet. Wir schlagen eine Methode mit einer Raumkomplexität von O(1) vor, indem wir die IDs von Knoten und Kanten neu anordnen, wobei nur die Zuordnungsgrenzen beibehalten werden, wodurch der Effekt erzielt wird, dass der Maßstab des parallelen Graphentrainings beliebig erweitert werden kann.

  5. Trainingseffizienz

  Gleichzeitig haben wir auch einige Optimierungen in puncto Trainingseffizienz vorgenommen. „Optimierung der GPU-Auslastung“ Durch die Analyse nach dem Ereignis kann die GPU optimiert und die durchschnittliche Nutzung verdoppelt werden.

  Backpropagation-Neuberechnung

  Wir verwenden auch die Backpropagation-Neuberechnungstechnik. Bei einigen Modellen mit sehr vielen Parametern speichern wir während des Vorwärtsausbreitungsprozesses nicht die Berechnungsergebnisse aller Ebenen, sondern behalten nur die Prüfpunkte einiger Knoten bei. Während der Rückwärtsausbreitung werden die leeren Parameterknoten vom Prüfpunkt aus neu berechnet. Auf diese Weise können die Speicherressourcen um mehr als 50 % reduziert und die Trainingseffizienz um mehr als 35 % verbessert werden.

  4. Zusammenfassung und Gedanken

  

  • Lassen Sie uns abschließend über die Erfahrungen und Gedanken beim Aufbau einer Plattform für maschinelles Lernen sprechen.
  Wir

  wir haben einige Erfahrungen wie folgt zusammengefasst:

  • Zuallererst ist die Machine-Learning-Plattform die effektivste Lösung für die Implementierung unseres KI-Algorithmus ; 🎜🎜#

  Da die Implementierung unseres KI-Algorithmus alle Aspekte der Technologie und des Inhalts umfasst, kann ich von den Schülern in keinem Link verlangen, dass sie das Ganze verstehen Wir müssen über eine Plattform verfügen, die diese grundlegenden Funktionen bereitstellen kann, um allen bei der Lösung dieser Probleme zu helfen.

  • Zweitens glauben wir, dass die Anwendung von AutoML die Kernkonstruktionsfähigkeit des maschinellen Lernens ist platform#🎜🎜 #；
  Denn nur wenn die Anwendung von Automatisierung oder AutoML gut gemacht ist, können wir es sein effektiver bei der Befreiung Die Produktivität von Algorithmenexperten ermöglicht es Algorithmenexperten, detailliertere Algorithmen zu erstellen oder Fähigkeiten zu entwickeln, um die Obergrenze des maschinellen Lernens zu erhöhen.
  Schließlich, in diesem Designprozess, weil es eher ein internes Anwendungsszenario ist,
  • Die Die Gestaltung unserer Funktionen und Fähigkeiten basiert auf unseren geschäftlichen Gegebenheiten und räumt der Erfüllung der Geschäftsanforderungen Vorrang ein. #🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜#schauen nach vorne:#🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 #Zunächst werden die ATLAS-Funktionen an mehr Szenarien angepasst, um eine höhere Effizienz zu erreichen.
  Zweitens werden wir die Anwendung von Trainingsoptimierungstechnologien wie 3D-Parallelität auf extrem große Sprachmodelle untersuchen Unsere Algorithmuseffekte und das Niveau branchenführender KI-Algorithmen liegen nahe an dem der Branche. F1: Open-Source-AutoML-Framework, welche haben wir ausprobiert und welche empfehlen wir?
  A1: Das am häufigsten verwendete Open-Source-AutoML-Framework ist Optuna und dann empfehle ich eine Website dazu Es heißt automl.org, denn es gibt derzeit relativ wenige Leute, die in diesem Bereich arbeiten. Diese Website wurde von mehreren Experten und Professoren auf dem Gebiet von AutoML erstellt. Sie enthält viele Open-Source-Lernmaterialien für AutoML beziehen kann. Das von uns empfohlene Open-Source-Framework ist Optuna, das wir für die Parameteranpassung verwenden, da sein Algorithmus nicht nur die grundlegendste Bayes'sche Optimierung ist, sondern ein TPE-Algorithmus, der für sehr große Parameter besser geeignet ist Noch besser geeignet für einige Szenarien mit relativ wenigen Parametern. Mein Vorschlag ist jedoch, dass Sie für verschiedene Szenarien verschiedene Methoden ausprobieren, da Sie nach mehreren Versuchen möglicherweise unterschiedliche Meinungen darüber haben, welche Methode für mehr Erfahrung geeignet ist.
  • F2: Wie lang ist der Entwicklungszyklus der Plattform für maschinelles Lernen?
  • A2: Seit dem Aufbau unserer Plattform für maschinelles Lernen sind 3 oder 4 Jahre vergangen. Zu Beginn haben wir zunächst das Problem der Anwendungsbereitstellung gelöst und dann mit dem Aufbau unserer Produktionskapazitäten wie Computer und Schulung begonnen. Wenn Sie es von Grund auf neu erstellen, empfehle ich Ihnen, sich zunächst auf einige Open-Source-Frameworks zu beziehen, um es zu erstellen, und dann zu sehen, auf welche Probleme Sie während der Verwendung in Ihren eigenen Geschäftsszenarien stoßen, um die zukünftige Entwicklungsrichtung zu klären.

  F3: Wie kann eine Überanpassung während der Kreuzvalidierung vermieden werden?

  A3: Dies ist möglicherweise ein spezifischeres Algorithmusoptimierungsproblem, aber in unserer Optimierungspipeline trainieren wir durch Stichprobenmethoden. Auf diese Weise können wir unsere Aufgabe erfüllen Sehen Sie sich weitere Winkel oder Aspekte des Datensatzes an und integrieren Sie dann die nach der Stichprobe trainierten Topmodelle, um die Transformationsfähigkeit unseres Modells zu verbessern. Dies ist auch eine sehr wichtige Methode in unserem Szenario.

  F4: Wie hoch ist der Entwicklungszyklus und die Personalinvestition, wenn wir die gesamte Plattform für maschinelles Lernen aufbauen?

  A4: Dieser Entwicklungszyklus wurde gerade erwähnt, der etwa drei bis vier Jahre beträgt. Bezogen auf die Personalinvestitionen sind es derzeit noch sechs bis sieben Studierende. In der Anfangszeit waren es sogar noch weniger.

  F5: Wird die Virtualisierung der GPU die Plattform für maschinelles Lernen verbessern?

  A5: Zunächst einmal sollte sich die von diesem Studenten erwähnte virtualisierte GPU auf die Segmentierung und Isolierung von Ressourcen beziehen. Wenn wir eine Plattform für maschinelles Lernen aufbauen, sollte die Virtualisierung der GPU eine notwendige Fähigkeit sein. Das bedeutet, dass wir Ressourcen virtualisieren müssen, um eine bessere Ressourcenplanung und -zuweisung zu erreichen. Auf dieser Grundlage können wir dann auch den Videospeicher und die Rechenressourcen unserer GPU aufteilen und dann unterschiedlich große Ressourcenblöcke verschiedenen Aufgaben zuweisen, aber wir trainieren zu diesem Zeitpunkt noch nicht wirklich, da Trainingsaufgaben normalerweise höhere Anforderungen haben Anforderungen an die Rechenleistung und kein geringerer Ressourcenverbrauch. Wir werden es in Inferenzszenarien verwenden. Während des eigentlichen Bewerbungsprozesses haben wir festgestellt, dass es keine gute Open-Source-freie Lösung für die Virtualisierungstechnologie gibt. Einige Cloud-Service-Anbieter bieten einige kostenpflichtige Lösungen an, daher verwenden wir für die Bereitstellung eine Time-Sharing-Multiplexing-Lösung, die einige Aufgaben mit hohen Anforderungen kombiniert Rechenanforderungen und einige Aufgaben mit geringem Rechenbedarf, um Time-Sharing-Multiplexing zu erreichen, können bis zu einem gewissen Grad den Effekt einer Kapazitätserhöhung erzielen.

  F6: Wie hoch ist das Beschleunigungsverhältnis des verteilten parallelen Trainings mit mehreren Knoten? Kann es nahezu linear sein?

  A6: Wenn wir es selbst messen, kann es etwa 80 bis 90 erreichen, wenn es besser ist. Wenn die Anzahl der Knoten natürlich sehr groß ist, ist möglicherweise eine weitere Optimierung erforderlich. Jetzt können Sie Artikel veröffentlichen oder sehen, in denen erwähnt wird, dass 32 oder 64 Knoten ein Beschleunigungsverhältnis von 80 oder 90 erreichen können speziellere Optimierungen. Wenn wir uns jedoch auf der Plattform für maschinelles Lernen befinden, müssen wir möglicherweise auf ein breiteres Spektrum von Szenarien abzielen. In tatsächlichen Szenarien sind möglicherweise 4 GPU-Karten oder 8 GPU-Karten erforderlich, und bis zu 16 GPU-Karten können die Anforderungen erfüllen.

  F7: Welche Parameter müssen Benutzer bei der Verwendung von AutoML konfigurieren? Wie viel Rechenleistung und Zeit benötigt die gesamte Berechnung?

  A7: Im Idealfall unseres AutoML müssen Benutzer keine Parameter konfigurieren. Selbstverständlich ermöglichen wir den Benutzern, einige Parameter entsprechend ihren Bedürfnissen anzupassen oder zu bestimmen. Was den Zeitaufwand betrifft, ist es unser Ziel, die Optimierung für alle unsere AutoML-Szenarien innerhalb eines Tages abzuschließen. Und in Bezug auf die Rechenleistung: Wenn es sich um eine allgemeine Big-Data-Modellierung handelt, wie z. B. Baummodelle XGB, LGBM usw., kann sogar eine einzelne Maschine damit umgehen, wenn es sich um eine GPU-Aufgabe handelt, hängt dies vom Umfang der GPU-Aufgabe ab Grundsätzlich kann das AutoML-Training mit der zwei- bis dreifachen Rechenleistung der ursprünglichen Trainingsskala durchgeführt werden.

  F8: Auf welche Open-Source-Frameworks für maschinelles Lernen kann ich mich beziehen?

  A8: Diese Frage wurde gerade erwähnt, das heißt, Optuna, Auto-Sklearn und AutoWeka stehen alle als Referenz zur Verfügung. Und ich habe gerade die Website automl.org erwähnt. Dort gibt es viele Informationen.

  F9: Welche Beziehung besteht zu EasyDL?

  A9: EasyDL stammt von Baidu und unser Framework ist komplett selbst entwickelt.

  Das war's für das heutige Teilen, vielen Dank an alle.

Das obige ist der detaillierte Inhalt vonPraxis der automatischen Plattform für maschinelles Lernen von Duxiaoman. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!