Modulares MoE wird zum Grundmodell für visuelles Multitasking-Lernen

Multi-Task-Lernen (MTL) birgt viele Herausforderungen, da die Verläufe zwischen verschiedenen Aufgaben widersprüchlich sein können. Um die Korrelation zwischen Aufgaben auszunutzen, führen die Autoren das Mod-Squad-Modell ein, ein modulares Modell, das aus mehreren Experten besteht. Das Modell kann die Zuordnung von Aufgaben und Experten flexibel optimieren und einige Experten für die Aufgabe auswählen. Das Modell ermöglicht, dass jeder Experte nur einem Teil der Aufgaben und jede Aufgabe nur einem Teil der Experten entspricht, wodurch die Nutzung der positiven Verbindungen zwischen Aufgaben maximiert wird. Mod-Squad integriert Mixture of Experts (MoE)-Schichten in das Vision Transformer-Modell und führt eine neue Verlustfunktion ein, die spärliche, aber starke Abhängigkeiten zwischen Experten und Aufgaben fördert. Darüber hinaus kann das Modell für jede Aufgabe nur einen kleinen Teil des Expertennetzwerks behalten und die gleiche Leistung wie das ursprüngliche große Modell erzielen. Das Modell erzielte die besten Ergebnisse beim Taskonomy-Big-Dataset und beim PASCALContext-Dataset mit 13 Vision-Aufgaben.

Papieradresse: https://arxiv.org/abs/2212.08066

Projektadresse: https://vis-www.cs.umass.edu/mod-squad/

Github-Adresse: https://github.com/UMass-Foundation-Model/Mod-Squad

Der Zweck des Multitask-Lernens (MTL) besteht darin, die Beziehung zwischen Aufgaben und Bereitstellung zu modellieren Erstellen Sie ein einheitliches Modell für mehrere Aufgaben. Wie in Abbildung 1 dargestellt, besteht die Hauptmotivation von Mod-Squad darin, zu ermöglichen, dass Experten nur für einige Aufgaben statt für alle Aufgaben aktualisiert werden und nur ein Teil der Experten für jede Aufgabe aktualisiert wird. Dadurch kann die volle Kapazität des Modells genutzt werden und gleichzeitig Interferenzen zwischen Aufgaben vermieden werden.

Abbildung 1. Mod-Squad: Experten und Aufgaben wählen sich gegenseitig aus. MoE ViT: Alle Spezialisten werden von allen Aufgaben eingesetzt.

Das Folgende ist eine kurze Einführung in den Artikel. Modellstruktur Einführung von Mixture-of-Expert (MoE) in Vision Transformer (ViT). MoE ist ein maschinelles Lernmodell, bei dem mehrere Experten ein Hybridmodell bilden. Jeder Experte ist ein unabhängiges Modell und jedes Modell trägt unterschiedlich zu unterschiedlichen Eingaben bei. Abschließend werden die Beiträge aller Experten gewichtet und zusammengefasst, um das Endergebnis zu erhalten. Der Vorteil dieses Ansatzes besteht darin, dass er den besten Experten basierend auf dem Inhalt des Eingabebilds dynamisch auswählen und den Rechenaufwand steuern kann.

Nach der Konvergenz des vorherigen MoE-Modells können je nach Bild unterschiedliche Experten verwendet werden. Für eine bestimmte Aufgabe konvergiert das Modell jedoch dahingehend, dass tendenziell alle Experten verwendet werden. Mod-Squad ermöglicht es dem Modell, verschiedene Experten für Bilder zu verwenden, und nach der Konvergenz kann das Modell einen Zustand erreichen, in dem nur ein Teil der Experten für eine Aufgabe verwendet wird. Als nächstes stellen wir vor, wie dies erreicht wird.

Maximieren Sie die gegenseitige Information zwischen Experten und Aufgaben

Dieses Papier schlägt ein gemeinsames Wahrscheinlichkeitsmodell von Aufgaben und Experten vor, um die Zuordnung zwischen Experten E und Aufgaben T zu optimieren. Dieses Wahrscheinlichkeitsmodell wird zur Berechnung gegenseitiger Informationen zwischen Experten und Aufgaben verwendet und dient als zusätzliche Verlustfunktion zur Optimierung des Gewichtsnetzwerks im MoE. Die Formel der gegenseitigen Information lautet wie folgt: Die Wahrscheinlichkeiten von E und T können aus dem Gewichtsnetzwerk in MoE ermittelt werden.

Nachdem das Modell die gegenseitige Information zwischen Aufgaben und Experten maximiert hat, kann es Experten und Aufgaben ermöglichen, spärliche und sehr starke Abhängigkeiten zu haben, wie in Abbildung 3 dargestellt. Ganz links ist die Expertenhäufigkeit für die Mod-Squad-Aufgabennutzung angegeben. Wie man sehen kann, verfügt Mod-Squad über spärlichere, aber schärfere Frequenzen zwischen Missionen und Spezialisten.

Abbildung 3. Vergleich der Häufigkeitsdiagramme von Aufgaben mit verschiedenen Experten. Die horizontale Achse repräsentiert verschiedene Experten, die vertikale Achse repräsentiert unterschiedliche Aufgaben und dunklere Farben stehen für eine höhere Nutzungshäufigkeit. Das Frequenzdiagramm von Mod-Squad ist spärlicher und schärfer.

Der Vorteil einer geringen und sehr starken Abhängigkeit zwischen dieser Aufgabe und Experten ist:

1. Ähnliche Aufgaben erfordern in der Regel den gleichen Experten;

2. Experten werden in der Regel in Gruppen zusammengefasst

3 Die Kapazität des Modells wird vollständig genutzt, aber jede Aufgabe nutzt nur einen Teil der Kapazität und die Kapazität kann je nach Aufgabe angepasst werden Wird für bestimmte Aufgaben aus einem großen Multitask-Modell verwendet. Extrahieren Sie ein kleines Einzeltask-Modell und erzielen Sie die gleiche Leistung wie das große Modell. Mit dieser Funktion können kleine Einzelaufgabenmodelle aus Modellen mit sehr mehreren Aufgaben extrahiert werden.

Basierend auf der Häufigkeit des Expertenaustauschs zwischen Aufgaben kann das Modell auch die Ähnlichkeit zwischen Aufgaben berechnen, wie in der folgenden Abbildung dargestellt. Es ist ersichtlich, dass bei 3D-orientierten Aufgaben tendenziell dieselben Experten eingesetzt werden und sie daher ähnlicher sind.

Experimenteller Teil

Mod-Squad kann eine einzelne Aufgabe beschneiden, ohne an Genauigkeit zu verlieren. Die vertikale Achse der Abbildung unten ist die Leistung und die horizontale Achse ist die Parametermenge.

wurde auch bei der großen Datenmenge Taskonomy erheblich verbessert. Es ist ersichtlich, dass Mod-Squad im Durchschnitt 2,8 Punkte höher ist als reines MTL und nach dem Beschneiden die gleiche Leistung beibehält.

Im Vergleich zu anderen Methoden im PASCAL-Kontext liegt Mod-Squad im Durchschnitt fast zwei Punkte höher als andere MoE-Methoden.

Bitte beachten Sie den Originaltext für spezifische Details.

Das obige ist der detaillierte Inhalt vonModulares MoE wird zum Grundmodell für visuelles Multitasking-Lernen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!