Das halbüberwachte Open-Source-Lernframework Dash der Damo Academy aktualisiert viele SOTA

1. Forschungshintergrund

Überwachtes Lernen​

Mathematisch gesehen kann dies als Lernen aus Daten (Mapping-Funktion) beschrieben werden von X) zur Anmerkung (y). Überwachtes Lernen ist eine der am häufigsten verwendeten Modelltrainingsmethoden. Die Verbesserung seiner Wirkung hängt von einer großen Menge gut gekennzeichneter Trainingsdaten ab, der sogenannten großen Menge gekennzeichneter Daten ((X, y)). Allerdings erfordert die Kennzeichnung von Daten häufig viel Personal, Material usw. Daher wird zwar die Wirkung verbessert, es entstehen jedoch auch hohe Kosten. In praktischen Anwendungen kommt es häufig vor, dass nur wenige beschriftete Daten und große Mengen unbeschrifteter Daten vorhanden sind. Das daraus resultierende halbüberwachte Lernen hat auch bei wissenschaftlichen Mitarbeitern immer mehr Aufmerksamkeit erregt.

Halbüberwachtes Lernen​

Halbüberwachtes Lernen lernt gleichzeitig eine kleine Menge beschrifteter Daten und eine große Menge unbeschrifteter Daten und dient dazu, unbeschriftete Daten zur Verbesserung des Modells zu verwenden Genauigkeit. Selbsttraining ist beispielsweise eine sehr verbreitete halbüberwachte Lernmethode. Der spezifische Prozess besteht darin, die Zuordnung von Daten von X zu Y für markierte Daten (X, Y) zu lernen und gleichzeitig das erlernte Modell zur Vorhersage zu verwenden Ein unbeschriftetes Daten-X-Pseudo-Label hilft dem Modell, eine bessere Konvergenz zu erreichen und die Genauigkeit zu verbessern, indem es weiterhin überwachtes Lernen an den Pseudo-Label-Daten (X, ) durchführt. Lösung von Kernproblemen Schwellenwert Kartieren Sie Stichproben mit höherer Konfidenz für das Training (z. B. FixMatch). Da die Verwendung unbeschrifteter Daten durch halbüberwachtes Lernen von den vom aktuellen Modell vorhergesagten Pseudoetiketten abhängt, hat die Genauigkeit der Pseudoetiketten einen größeren Einfluss auf das Training des Modells. Gute Vorhersageergebnisse tragen zur Konvergenz und Genauigkeit bei Beim Lernen neuer Modelle beeinträchtigen schlechte Vorhersageergebnisse das Modelltraining. Deshalb denken wir:

Es sind nicht alle unbeschrifteten Proben notwendig! 2. Papier und Code com/idstcv/Dash

Technische Anwendung: https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary

Dieses Papier schlägt innovativ die Verwendung dynamischer Schwellenwerte (dynamische Schwelle) als Methode vor Beim Screening unbeschrifteter Proben für halbüberwachtes Lernen (SSL) haben wir den Trainingsrahmen des halbüberwachten Lernens verändert und die Auswahlstrategie unbeschrifteter Proben während des Trainingsprozesses verbessert, indem wir Schwellenwerte für das Training dynamisch geändert haben. Dash ist eine allgemeine Strategie, die leicht in bestehende halbüberwachte Lernmethoden integriert werden kann. Experimentell haben wir seine Wirksamkeit anhand von Standarddatensätzen wie CIFAR-10, CIFAR-100, STL-10 und SVHN vollständig überprüft. Theoretisch beweist der Artikel die Konvergenzeigenschaften des Dash-Algorithmus aus der Perspektive der nichtkonvexen Optimierung.

3. MethodeFixmatch-Trainingsrahmen

​

Bevor wir unsere Methode Dash vorstellen, stellen wir den von Google vorgeschlagenen FixMatch-Algorithmus vor, eine halbüberwachte Lernmethode, die einen festen Schwellenwert verwendet, um unbeschriftete Proben auszuwählen. Das FixMatch-Trainingsframework war die vorherige SOTA-Lösung. Die wichtigsten Punkte des gesamten Lernrahmens können wie folgt zusammengefasst werden:

1. Für Stichproben, die durch schwache Datenverbesserung (horizontales Spiegeln, Versetzen usw.) unbeschrifteter Daten erhalten werden, wird der vorhergesagte Wert durch den Strom ermittelt Modell

2 Für unbeschriftete Daten werden durch starke Datenverbesserung (RA oder CTA) gewonnene Stichproben verwendet, um vorhergesagte Werte durch das aktuelle Modell zu erhalten

3 Mit hoher Konfidenz werden durch eine Hot-Methode Pseudo-Label gebildet und dann und der vorhergesagte Wert von X verwendet, der durch starke Datenverbesserung erhalten wurde, um das Modell zu trainieren. Der Vorteil von

fixmatch besteht darin, dass schwach verbesserte Daten zur Vorhersage von Pseudoetiketten verwendet werden, was die Genauigkeit von Pseudoetikettenvorhersagen erhöht und während des Trainingsprozesses zur Auswahl ein fester Schwellenwert von 0,95 (entspricht einem Verlust von 0,0513) verwendet wird Hohes Vertrauen (der Schwellenwert ist größer als 0,95, d. h. die vorhergesagten Stichproben mit einem Verlust von weniger als oder gleich 0,0513) erzeugen Pseudoetiketten, was den Trainingsprozess weiter stabilisiert.

Dash-Trainingsrahmen​

Mit Blick auf das Problem der Auswahl aller Pseudo-Labels und der Verwendung fester Schwellenwerte zur Auswahl von Pseudo-Labels schlagen wir innovativ eine Strategie zur Verwendung dynamischer Schwellenwerte für das Probenscreening vor. Das heißt, die dynamische Schwelle wird mit t

abgeschwächt

wobei C=1,0001, der durchschnittliche Verlust markierter Daten nach der ersten Epoche ist, und wir wählen diese unbeschrifteten Proben aus, um an der Gradienten-Backpropagation teilzunehmen. Die folgende Abbildung zeigt die Variationskurve des Schwellenwerts bei verschiedenen Werten. Sie können sehen, dass der Parameter die Abfallgeschwindigkeit der Schwellenwertkurve steuert. Die Änderungskurve von ähnelt dem Abwärtstrend der Verlustfunktion bei der Simulation des Trainingsmodells.

Die folgende Abbildung vergleicht die Anzahl der richtigen Proben und die Anzahl der falschen Proben, die FixMath und Dash während des Trainingsprozesses im Verlauf des Trainings ausgewählt haben (der verwendete Datensatz ist cifar100). Aus der Abbildung ist deutlich ersichtlich, dass Dash im Vergleich zu FixMatch mehr Proben mit korrekten Etiketten und weniger Proben mit falschen Etiketten auswählen kann, was letztendlich dazu beiträgt, die Genauigkeit des Trainingsmodells zu verbessern.

Unser Algorithmus lässt sich wie folgt zusammenfassen: Algorithmus 1. Dash ist eine allgemeine Strategie, die leicht in bestehende halbüberwachte Lernmethoden integriert werden kann. Der Einfachheit halber integrieren wir in den Experimenten dieses Artikels hauptsächlich Dash mit FixMatch. Weitere theoretische Beweise finden Sie im Artikel.

IV. Ergebnisse

Wir haben den Algorithmus anhand häufig verwendeter halbüberwachter Lerndatensätze überprüft: CIFAR-10, CIFAR-100, STL-10 und SVHN. Die Ergebnisse sind wie folgt:

Es ist ersichtlich, dass unsere Methode in mehreren experimentellen Umgebungen bessere Ergebnisse erzielt hat als SOTA. Was erklärt werden muss, ist das Experiment für CIFAR-100 400label, ReMixMatch Using Der zusätzliche Trick der Datenausrichtung erzielt bessere Ergebnisse. Nach dem Hinzufügen des Datenausrichtungstricks zu Dash kann eine Fehlerrate von 43,31 % erreicht werden, was niedriger ist als die Fehlerrate von 44,28 % von ReMixMatch.

5. Anwendung

Im eigentlichen Entwicklungsprozess von an Aufgabendomänen orientierten Modellen wird häufig das semi-überwachte Dash-Framework eingesetzt. Als nächstes stelle ich Ihnen die kostenlosen Open-Source-Modelle vor, die wir in verschiedenen Bereichen entwickelt haben. Sie können sie gerne ausprobieren und herunterladen (Sie können sie auf den meisten Mobiltelefonen erleben):

• ​https://modelscope.cn/models/damo/cv_resnet50_face-detection_retinaface/summary​
• ​https://modelscope.cn/models/damo/cv_resnet101_face-detection_cvpr22papermogface/summary​
• ​ https://modelscope.cn/models/damo/cv_manual_face-detection_tinymog/summary​
• ​https://modelscope.cn/models/damo/cv_manual_face-detection_ulfd/summary​
• ​https:// modelscope.cn/models/damo/cv_manual_face-detection_mtcnn/summary​
• ​https://modelscope.cn/models/damo/cv_resnet_face-recognition_facemask/summary​
• ​https://modelscope.cn/ models/damo/cv_ir50_face-recognition_arcface/summary​
• ​https://modelscope.cn/models/damo/cv_manual_face-liveness_flir/summary​
• ​https://modelscope.cn/models/damo/ cv_manual_face-liveness_flrgb/summary​
• ​https://modelscope.cn/models/damo/cv_manual_facial-landmark-confidence_flcm/summary​
• ​https://modelscope.cn/models/damo/cv_vgg19_facial- expression-recognition_fer/summary​
• ​https://modelscope.cn/models/damo/cv_resnet34_face-attribute-recognition_fairface/summary​

Das obige ist der detaillierte Inhalt vonDas halbüberwachte Open-Source-Lernframework Dash der Damo Academy aktualisiert viele SOTA. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!