USB: Der erste halbüberwachte Klassifizierungslern-Benchmark, der visuelle, sprachliche und akustische Klassifizierungsaufgaben vereint

Derzeit ist die Entwicklung des teilüberwachten Lernens in vollem Gange. Bestehende halbüberwachte Lernbenchmarks beschränken sich jedoch meist auf Computer-Vision-Klassifizierungsaufgaben und schließen eine konsistente und vielfältige Bewertung von Klassifizierungsaufgaben wie der Verarbeitung natürlicher Sprache und der Audioverarbeitung aus. Darüber hinaus werden die meisten halbbetreuten Arbeiten von großen Institutionen veröffentlicht, und es ist für akademische Labore aufgrund begrenzter Rechenressourcen oft schwierig, sich an der Weiterentwicklung des Fachgebiets zu beteiligen.

Zu diesem Zweck haben Forscher von Microsoft Research Asia zusammen mit Forschern der Westlake University, dem Tokyo Institute of Technology, der Carnegie Mellon University, dem Max-Planck-Institut und anderen Institutionen den Unified SSL Benchmark (USB) vorgeschlagen: Der erste halb- Benchmark für überwachtes Klassifizierungslernen, der visuelle, sprachliche und akustische Klassifizierungsaufgaben vereint.

In diesem Artikel werden nicht nur vielfältigere Anwendungsfelder vorgestellt, sondern erstmals auch ein visuelles Pre-Training-Modell verwendet, um die Verifizierungszeit halbüberwachter Algorithmen erheblich zu verkürzen und die halbüberwachte Forschung insbesondere für Forscher benutzerfreundlicher zu gestalten kleine Forschungsgruppen. Relevante Beiträge wurden von NeurIPS 2022, der führenden internationalen akademischen Konferenz im Bereich der künstlichen Intelligenz, angenommen.

Artikellink: https://arxiv.org/pdf/2208.07204.pdf

Codelink: https://github.com/microsoft/Semi-supervised-learning ​

Überwachtes Lernen erstellt Modelle, die zu gekennzeichneten Daten passen. Wenn überwachtes Lernen zum Trainieren einer großen Menge hochwertiger gekennzeichneter Daten verwendet wird, liefert das neuronale Netzwerkmodell wettbewerbsfähige Ergebnisse.

Zum Beispiel können herkömmliche überwachte Lernmethoden laut Statistiken der Website Paperswithcode im millionenschweren Datensatz von ImageNet eine Genauigkeit von mehr als 88 % erreichen. Allerdings ist die Beschaffung großer Mengen gekennzeichneter Daten oft zeitaufwändig und mühsam.

Um die Abhängigkeit von beschrifteten Daten zu verringern, wird beim halbüberwachten Lernen (SSL) darauf geachtet, eine große Menge unbeschrifteter Daten zu verwenden, um die Verallgemeinerung des Modells zu verbessern, wenn nur eine kleine Menge beschrifteter Daten vorhanden ist. Auch halbüberwachtes Lernen ist eines der wichtigen Themen des maschinellen Lernens. Vor Deep Learning schlugen Forscher auf diesem Gebiet klassische Algorithmen wie halbüberwachte Support-Vektor-Maschinen, Entropie-Regularisierung und kollaboratives Training vor.

Deep Semi-Supervised Learning

Mit dem Aufstieg des Deep Learning haben auch Deep Semi-Supervised Learning-Algorithmen große Fortschritte gemacht. Gleichzeitig haben auch Technologieunternehmen wie Microsoft, Google und Meta das enorme Potenzial des halbüberwachten Lernens in praktischen Szenarien erkannt.

Google nutzt beispielsweise „Noisy Student Training“, einen halbüberwachten Algorithmus, um seine Leistung bei der Suche zu verbessern [1]. Die repräsentativsten halbüberwachten Algorithmen nutzen derzeit Kreuzentropieverlust für das Training auf gekennzeichneten Daten und Konsistenzregularisierung auf unbeschrifteten Daten, um invariante Vorhersagen für Eingabestörungen zu fördern.

Zum Beispiel verwendet der von Google auf der NeurIPS 2020 vorgeschlagene FixMatch[2]-Algorithmus Augmentationsverankerungs- und feste Schwellenwerttechnologien, um die Verallgemeinerung des Modells auf verbesserte Daten mit unterschiedlichen Stärken zu verbessern und Rauschartefakte zu reduzieren. Der Einfluss verrauschter Pseudoetiketten. Während des Trainings filtert FixMatch unbeschriftete Daten unterhalb eines vom Benutzer bereitgestellten/vordefinierten Schwellenwerts heraus.

FlexMatch[3], gemeinsam vorgeschlagen von Microsoft Research Asia und dem Tokyo Institute of Technology auf der NeurIPS 2021, berücksichtigt die unterschiedlichen Lernschwierigkeiten zwischen verschiedenen Kategorien und schlägt daher eine Pseudo-Labeling-Technologie für den Lehrplan vor, die unterschiedliche Schwellenwerte übernehmen sollte.

Insbesondere für leicht zu erlernende Kategorien sollte das Modell einen hohen Schwellenwert festlegen, um die Auswirkungen verrauschter Pseudobezeichnungen zu reduzieren; für schwer zu erlernende Kategorien sollte das Modell einen niedrigen Schwellenwert festlegen, um die Anpassung zu fördern dieser Kategorie. Die Bewertung der Lernschwierigkeiten jeder Klasse hängt von der Anzahl der unbeschrifteten Datenproben ab, die in diese Klasse fallen und über einem festen Wert liegen.

Gleichzeitig haben Forscher von Microsoft Research Asia auch zusammengearbeitet, um eine einheitliche Pytorch-basierte halbüberwachte Methodencodebibliothek TorchSSL[4] vorzuschlagen, die tiefgreifende Methoden, häufig verwendete Datensätze und Benchmark-Ergebnisse in diesem Bereich vereint. Unterstützung.

Abbildung 1: Prozess des FlexMatch-Algorithmus

Probleme und Herausforderungen in aktuellen Codebibliotheken für halbüberwachtes Lernen# 🎜🎜#

Obwohl die Entwicklung des halbüberwachten Lernens in vollem Gange ist, haben Forscher festgestellt, dass sich die meisten aktuellen Arbeiten in halbüberwachter Richtung nur auf Klassifizierungsaufgaben für Computer Vision (CV) konzentrieren. Für andere Bereiche wie die Verarbeitung natürlicher Sprache (NLP) und die Audioverarbeitung (Audio) können Forscher nicht wissen, ob diese Algorithmen, die bei Lebenslaufaufgaben wirksam sind, auch in anderen Bereichen noch wirksam sind.

Darüber hinaus werden die meisten halbbetreuten Arbeiten von großen Institutionen veröffentlicht, und es ist für akademische Labore aufgrund begrenzter Rechenressourcen oft schwierig, sich an der Förderung dieses Themas zu beteiligen . Das Feld entwickelt sich. Generell weisen halbüberwachte Lernbenchmarks derzeit die folgenden zwei Probleme auf:

(1) Unzureichende Diversität. Die meisten der bestehenden Benchmarks für halbüberwachtes Lernen beschränken sich auf CV-Klassifizierungsaufgaben (d. h. CIFAR-10/100, SVHN, STL-10 und ImageNet-Klassifizierung) und schließen eine konsistente und vielfältige Bewertung von Klassifizierungsaufgaben wie NLP, Audio usw. aus. , während in NLP Der Mangel an ausreichend beschrifteten Daten in und Audio ist ebenfalls ein häufiges Problem.

(2) Zeitaufwändig und unfreundlich gegenüber der Wissenschaft. Bestehende Benchmarks für halbüberwachtes Lernen wie TorchSSL sind oft zeitaufwändig und umweltschädlich, da sie oft das Training tiefer neuronaler Netzwerkmodelle von Grund auf erfordern. Konkret erfordert die Evaluierung von FixMatch[1] mit TorchSSL etwa 300 GPU-Tage. Solche hohen Ausbildungskosten machen SSL-bezogene Forschung für viele Forschungslabore (insbesondere im akademischen Bereich oder in kleinen Forschungsgruppen) unerschwinglich und behindern so den Fortschritt von SSL.

USB: Eine neue Benchmark-Bibliothek mit vielfältigen Aufgaben und benutzerfreundlicher für Forscher

Um die oben genannten Probleme zu lösen, haben Forscher von Microsoft Research Asien Wir haben uns mit Forschern der Saiko University, des Tokyo Institute of Technology, der Carnegie Mellon University, des Max-Planck-Instituts und anderen Institutionen zusammengetan, um den Unified SSL Benchmark (USB) vorzuschlagen, der als erster Vision-, Sprach- und Audioklassifizierungsaufgaben kombiniert Einheitlicher Benchmark für halbüberwachtes Klassifizierungslernen.

Im Vergleich zu früheren halbüberwachten Lernbenchmarks (wie TorchSSL), die sich nur auf eine kleine Anzahl von Sehaufgaben konzentrierten, führt dieser Benchmark nicht nur zu vielfältigeren Anwendungsfeldern, Aber auch zum ersten Mal wird die Verifizierungszeit halbüberwachter Algorithmen durch die Verwendung eines vortrainierten Vision-Transformators erheblich verkürzt (von 7000 GPU-Stunden auf 900 GPU-Stunden), wodurch die halbüberwachte Forschung für Forscher, insbesondere für kleine Forschungsgruppen, benutzerfreundlicher wird.

Relevante Beiträge wurden von NeurIPS 2022, der führenden akademischen Konferenz im Bereich der internationalen künstlichen Intelligenz, angenommen. (Klicken Sie auf „Originaltext lesen“, um mehr zu erfahren) Aufsichtsproblem auf einen Schlag? Was ist mit den Problemen mit Benchmarks? Die Forscher haben hauptsächlich die folgenden Verbesserungen vorgenommen:

(1) Um die Aufgabenvielfalt zu verbessern, führte USB 5 CV-Datensätze, 5 NLP-Datensätze und 5 Audiodatensätze ein und stellte eine bereit Vielfältiger und herausfordernder Benchmark, der eine konsistente Bewertung mehrerer Aufgaben aus verschiedenen Bereichen ermöglicht. Tabelle 1 bietet einen detaillierten Vergleich der Aufgaben und Trainingszeiten zwischen USB und TorchSSL.

Tabelle 1: Aufgaben und Aufgaben von USB und TorchSSL Frameworks Trainingszeitvergleich

(2) Um die Trainingseffizienz zu verbessern, führten Forscher vorab trainierte Vision Transformer in SSL ein, anstatt ResNets von Grund auf zu trainieren. Insbesondere fanden die Forscher heraus, dass die Verwendung vorab trainierter Modelle die Anzahl der Trainingsiterationen erheblich reduzieren kann, ohne die Leistung zu beeinträchtigen (z. B. Reduzierung der Anzahl der Trainingsiterationen für eine CV-Aufgabe von 1 Million Schritten auf 200.000 Schritte).

(3) Um für Forscher freundlicher zu sein, haben Forscher 14 SSL-Algorithmen als Open Source implementiert und eine modulare Codebibliothek und zugehörige Konfigurationsdateien als Open Source bereitgestellt, damit Forscher die Ergebnisse einfach im USB-Bericht reproduzieren können. Für einen schnellen Einstieg stellt USB außerdem ausführliche Dokumentationen und Tutorials zur Verfügung. Darüber hinaus stellt USB auch das Pip-Paket bereit, mit dem Benutzer den SSL-Algorithmus direkt aufrufen können. Die Forscher versprechen, in Zukunft weiterhin neue Algorithmen (z. B. unausgeglichene halbüberwachte Algorithmen usw.) und anspruchsvollere Datensätze zu USB hinzuzufügen. Tabelle 2 zeigt die bereits in USB unterstützten Algorithmen und Module. Tabelle 2: Unterstützte Algorithmen und Module in USB Forscher von Microsoft Research Asia freuen sich darauf, diese USB-Arbeit zu nutzen, um Hochschulen und Industrie dabei zu helfen, größere Fortschritte im Bereich des halbüberwachten Lernens zu erzielen.

Das obige ist der detaillierte Inhalt vonUSB: Der erste halbüberwachte Klassifizierungslern-Benchmark, der visuelle, sprachliche und akustische Klassifizierungsaufgaben vereint. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!