Methoden des maschinellen Lernens optimiert und für das Multitasking-Lernen angewendet

Multi-Task-Lernen ist ein Modell, das gemeinsam für mehrere Aufgaben optimiert wird, wobei verwandte Aufgaben Darstellungen gemeinsam nutzen und die Modellleistung verbessert, indem bessere Entscheidungsgrenzen für die ursprünglichen Aufgaben gelernt werden. Ein einzelnes neuronales Netzwerk wird oft verwendet, um mehrere Aufgaben gleichzeitig zu lösen. Neben der Verkürzung der Inferenzzeit bietet das gemeinsame Lösen von Aufgabengruppen weitere Vorteile, wie z. B. eine verbesserte Vorhersagegenauigkeit, eine verbesserte Dateneffizienz und eine kürzere Trainingszeit.

Was ist ein Multitasking-Lernmodell?

Multi-Task-Lernen bedeutet, dass ein maschinelles Lernmodell mehrere verschiedene Aufgaben gleichzeitig bearbeiten kann. Es kann die Effizienz der Datennutzung verbessern, die Modellkonvergenz beschleunigen und Überanpassungsprobleme reduzieren, da Modelle Darstellungen gemeinsam nutzen können.

Multitasking-Lernen ähnelt eher menschlichen Lernmechanismen, da Menschen oft übertragbare Fähigkeiten erlernen. Wenn Sie beispielsweise das Fahrradfahren gelernt haben, wird es einfacher, das Motorradfahren zu erlernen. Dies wird als induktiver Wissenstransfer bezeichnet.

Dieser Wissenstransfermechanismus ermöglicht es Menschen, neue Konzepte mit nur wenigen oder keinen Beispielen zu erlernen, was beim maschinellen Lernen als „Lernen mit kleinen Stichproben“ bzw. „Lernen mit Nullstichproben“ bezeichnet wird.

Optimierungsmethoden für Multitasking-Lernen

Nicht alle Aufgaben hängen zusammen. Das Ungleichgewicht der Datensätze, Unterschiede zwischen Aufgaben und der negative Wissenstransfer stellen allesamt Herausforderungen für das Multitasking-Lernen dar. Daher ist die Optimierung der Aufgabe ebenso wichtig wie die Auswahl der geeigneten Architektur. Als nächstes diskutieren wir Optimierungsstrategien für Multitasking-Lernen.

1. Verlustkonstruktion

Dies ist eine der intuitivsten Methoden zur Durchführung einer Multitask-Optimierung, indem eine einzelne Verlustfunktion, die für einzelne Aufgaben definiert ist, unter Verwendung verschiedener Gewichtungsschemata ausgeglichen wird. Das Modell optimiert dann eine aggregierte Verlustfunktion, um mehrere Aufgaben gleichzeitig zu lernen.

Zum Beispiel die Verwendung verschiedener Verlustgewichtungsmechanismen zur Lösung von Multitasking-Problemen. Die jeder Verlustfunktion zugewiesenen spezifischen Gewichte sind umgekehrt proportional zur Trainingssatzgröße jeder Aufgabe, um zu vermeiden, dass Aufgaben mit mehr Daten die Optimierung dominieren.

2. Harte Parameterfreigabe

Bei der harten Parameterfreigabe werden die verborgenen Schichten des neuronalen Netzwerks gemeinsam genutzt, während einige aufgabenspezifische Ausgabeschichten beibehalten werden. Durch die gemeinsame Nutzung der meisten Ebenen für verwandte Aufgaben wird die Möglichkeit einer Überanpassung verringert.

Je mehr Aufgaben ein gemeinsames Modell gleichzeitig lernt, desto notwendiger ist es, eine Darstellung zu finden, die alle Aufgaben erfasst, und desto unwahrscheinlicher ist es, dass die ursprüngliche Aufgabe überangepasst wird.

3. Weiche Parameterfreigabe

Harte Parameterfreigabe funktioniert nur dann gut, wenn die Aufgaben eng miteinander verbunden sind. Daher liegt der Schwerpunkt der weichen Parameterfreigabe auf dem Erlernen von Funktionen, die zwischen Aufgaben gemeinsam genutzt werden müssen. Unter Soft Parameter Sharing versteht man die Regulierung des Abstands zwischen den Parametern jedes Modells und dem gesamten Trainingsziel, um die Verwendung ähnlicher Modellparameter zwischen verschiedenen Aufgaben zu fördern. Es wird häufig beim Lernen mit mehreren Aufgaben verwendet, da diese Regularisierungstechnik einfach zu implementieren ist.

4. Datenerfassung

Datensätze für maschinelles Lernen sind häufig von einer unausgewogenen Datenverteilung betroffen, und Multitasking-Lernen verkompliziert dieses Problem zusätzlich. Denn es handelt sich um Multitasking-Trainingsdatensätze mit unterschiedlichen Größen und Datenverteilungen. Bei Multitask-Modellen ist es wahrscheinlicher, dass Datenpunkte aus Aufgaben mit größeren verfügbaren Trainingsdatensätzen abgetastet werden, was zu einer möglichen Überanpassung führt.

Um mit diesem Datenungleichgewicht umzugehen, wurden verschiedene Datenstichprobentechniken vorgeschlagen, um Trainingsdatensätze für Multitask-Optimierungsprobleme korrekt zu erstellen.

5. Intelligente Aufgabenplanung

Die meisten Multitask-Lernmodelle entscheiden auf sehr einfache Weise, welche Aufgaben in einer Epoche trainiert werden sollen, indem entweder alle Aufgaben bei jedem Schritt trainiert werden oder eine Teilmenge der Aufgaben für das Training zufällig ausgewählt wird. Eine intelligent optimierte Aufgabenplanung kann jedoch die Gesamtleistung des Modells für alle Aufgaben deutlich verbessern.

6. Gradientenmodulation

Die meisten Multitask-Lernmethoden gehen davon aus, dass die einzelnen Aufgaben der Gelenkoptimierung eng miteinander verbunden sind. Allerdings steht nicht unbedingt jede Aufgabe in engem Zusammenhang mit allen verfügbaren Aufgaben. In diesem Fall kann der Austausch von Informationen mit nicht zusammenhängenden Aufgaben sogar die Leistung beeinträchtigen, ein Phänomen, das als „negative Übertragung“ bekannt ist.

Aus Sicht der Optimierung manifestiert sich negative Migration als widersprüchliche Aufgabengradienten. Wenn die Gradientenvektoren zweier Aufgaben in entgegengesetzte Richtungen zeigen, beeinträchtigt der Gradient der aktuellen Aufgabe die Leistung der anderen Aufgabe. Das Befolgen des Durchschnitts der beiden Gradienten bedeutet, dass bei keiner Aufgabe die gleichen Verbesserungen erzielt werden wie bei der Trainingseinstellung mit einer einzigen Aufgabe. Daher ist die Modulation von Aufgabengradienten eine mögliche Lösung für dieses Problem.

Wenn ein Multitask-Modell auf eine Reihe verwandter Aufgaben trainiert wird, sollten die Gradienten für diese Aufgaben idealerweise in ähnliche Richtungen zeigen. Eine übliche Methode zur Gradientenmodulation ist das kontradiktorische Training. Beispielsweise erzwingt die GREAT-Methode (Gradient Adversarial Training) diese Bedingung explizit, indem sie einen kontradiktorischen Verlustterm in das Multitask-Modelltraining einbezieht, was dazu führt, dass Gradienten aus verschiedenen Quellen statistisch nicht unterscheidbare Verteilungen aufweisen.

7. Wissensdestillation

Wissensdestillation ist ein Paradigma des maschinellen Lernens, bei dem Wissen von einem rechenintensiven Modell (dem „Lehrer“-Modell) auf ein kleineres Modell (dem „Schüler“-Modell) übertragen wird, während die Leistung erhalten bleibt.

Beim Lernen mit mehreren Aufgaben besteht die häufigste Verwendung der Wissensdestillation darin, Wissen aus mehreren separaten „Lehrer“-Netzwerken mit einer einzelnen Aufgabe in ein „Schüler“-Netzwerk mit mehreren Aufgaben zu extrahieren. Interessanterweise hat sich gezeigt, dass die Leistung von Schülernetzwerken in einigen Bereichen die von Lehrernetzwerken übertrifft, was die Wissensdestillation zu einem idealen Ansatz macht, um nicht nur Speicher zu sparen, sondern auch die Leistung zu verbessern.

Praktische Anwendungen des Multitasking-Lernens

Forscher in allen Bereichen der künstlichen Intelligenz verwenden Multitasking-Lernframeworks, um Ressourcenoptimierungsmodelle zu entwickeln, die in mehreren Anwendungsbereichen mit Speicherbeschränkungen verwendet werden können. Werfen wir unten einen Blick auf die neuesten Anwendungen dieser Modelle in verschiedenen Bereichen der künstlichen Intelligenz.

1. Computer Vision

Computer Vision ist ein Zweig der künstlichen Intelligenz, der sich mit Themen wie Bildklassifizierung, Objekterkennung und Videoabruf befasst. Die meisten Einzeltask-Computer-Vision-Modelle sind rechenintensiv, und die Verwendung von Multitask-Netzwerken zur Bewältigung mehrerer Aufgaben kann Speicherplatz sparen und ihre Bereitstellung bei realeren Problemen erleichtern. Darüber hinaus trägt es dazu bei, das Problem großer Mengen gekennzeichneter Daten zu lindern, die für das Modelltraining erforderlich sind. 2. Natural Language Processing (Natürliche Sprachverarbeitung) Es umfasst Satzübersetzungen, Bild- oder Videountertitel, Emotionserkennung und viele andere Anwendungen. Multitasking-Lernen wird häufig bei NLP-Problemen eingesetzt, um die Leistung der Hauptaufgabe durch Hilfsaufgaben zu verbessern.

3. Empfehlungssystem

Personalisierte Empfehlungen sind zur wichtigsten Technologie geworden, um Benutzern den Umgang mit umfangreichen Online-Inhalten zu erleichtern. Um die Benutzererfahrung zu verbessern, müssen Empfehlungsmodelle die persönlichen Präferenzen der Benutzer für Artikel genau vorhersagen.

Ein Beispiel für ein Multitask-Empfehlungssystem ist das CAML-Modell, das die Genauigkeit und Interpretierbarkeit erklärbarer Empfehlungen verbessert, indem Empfehlungsaufgaben und Erklärungsaufgaben eng gekoppelt werden.

4. Reinforcement Learning

Reinforcement Learning ist ein Paradigma des Deep Learning, zwischen überwachtem Lernen und unüberwachtem Lernen. Bei diesem Lernschema lernt der Algorithmus, indem er Entscheidungen durch Versuch und Irrtum trifft, wobei richtige Entscheidungen belohnt und falsche Entscheidungen bestraft werden. Es wird häufig in Roboteranwendungen eingesetzt.

Da viele Probleme des verstärkenden Lernens nicht unbedingt eine komplexe Wahrnehmung beinhalten, wie z. B. die Verwendung von Text oder Pixeln, sind die architektonischen Anforderungen vieler solcher Probleme nicht hoch. Daher sind viele tiefe Netzwerke, die für das verstärkende Lernen verwendet werden, einfache, vollständig verbundene, Faltungs- oder wiederkehrende Architekturen. In Situationen mit mehreren Aufgaben können jedoch Informationen zwischen Aufgaben genutzt werden, um verbesserte Architekturen für verstärktes Lernen zu schaffen.

Wie beim CARE-Modell wird ein Hybrid-Encoder verwendet, um Eingabebeobachtungen in mehrere Darstellungen zu kodieren, die unterschiedlichen Fähigkeiten oder Objekten entsprechen. Der lernende Agent kann dann anhand des Kontexts entscheiden, welche Darstellung er für eine bestimmte Aufgabe verwendet. Dadurch erhält der Agent eine detaillierte Kontrolle darüber, welche Informationen zwischen den Aufgaben ausgetauscht werden, wodurch das Problem der negativen Übertragung gemildert wird.

5. Multimodales Lernen

Wie der Name schon sagt, umfasst multimodales Lernen das Trainieren von Modellen auf mehreren Datenmodalitäten, wie Audio, Bilder, Videos, natürlicher Text usw., die möglicherweise nicht vorhanden sind relevant sein. . Multitasking-Lernen wird häufig verwendet, um multimodale Funktionen implizit in ein einzelnes Modell einzufügen.

Das obige ist der detaillierte Inhalt vonMethoden des maschinellen Lernens optimiert und für das Multitasking-Lernen angewendet. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!