Die Tsinghua-Universität veröffentlicht CurML, die erste Open-Source-Bibliothek für das Lernen von Kursen

Im Entwicklungsprozess des maschinellen Lernens inspirieren menschliche Lernmethoden häufig die Gestaltung verschiedener Algorithmen. Als wichtiges Paradigma des menschlichen Lernens wurde das Lernen durch Kurse vom maschinellen Lernen übernommen, um eine Forschungsrichtung namens Curriculum Learning zu bilden.

Im Allgemeinen wird die menschliche Bildung durch gut organisierte Kurse abgeschlossen. Jeder Kurs oder jedes Fach beginnt mit einfachen Inhalten und stellt den Studierenden nach und nach komplexere Konzepte vor. Bevor ein Schüler beispielsweise die Konzepte der Infinitesimalrechnung im College akzeptiert, sollte er zunächst in der Grundschule Arithmetik, in der Mittelschule Funktionen und in der Oberstufe Ableitungen lernen. Im Gegensatz zur menschlichen Bildung umfasst das Training herkömmlicher Modelle für maschinelles Lernen jedoch die zufällige Eingabe von Datenproben in das Modell, wobei die unterschiedliche Komplexität zwischen Datenproben und dem aktuellen Lernstatus des Modells ignoriert wird. Daher wurde im Bereich des maschinellen Lernens Lehrplanlernen vorgeschlagen, um menschliches Lernen von einfach bis schwer zu imitieren, bessere Trainingsstrategien für das Modell bereitzustellen und dadurch die Leistung des Modells zu verbessern.

Kurslern-Konzeptkarte

Derzeit wird Kurslernen häufig in verschiedenen Aufgaben des maschinellen Lernens eingesetzt, darunter Bildklassifizierung, Zielerkennung, semantische Segmentierung, maschinelle Übersetzung, Audioerkennung, Audio Verbesserung, Beantwortung von Videofragen usw. haben auch in Szenarien wie überwachtem, unüberwachtem und halbüberwachtem Lernen und verstärkendem Lernen viel Aufmerksamkeit und Forschung erhalten.

Da die Anwendungen und Szenarien des Kurslernens immer vielfältiger werden, ist es insbesondere in diesem Bereich erforderlich, eine detaillierte Sortierung und Zusammenfassung durchzuführen, um eine eingehende Erkundung durch Forscher zu fördern und das Anwendungserlebnis der Benutzer zu verbessern.

Basierend auf der Anhäufung und Veröffentlichung einer Reihe wissenschaftlicher Arbeiten zum Lehrplanlernen veröffentlichte das von Professor Zhu Wenwu von der Tsinghua-Universität geleitete Media and Network Big Data Laboratory, Labormitglied Wang Xin, einen Artikel zum Lehrplanlernen IEEE TPAMI In dem Übersichtsartikel veröffentlichte das Labor außerdem die weltweit erste Open-Source-Bibliothek für das Kurslernen, CurML (Curriculum Machine Learning).

Professor Zhu Wenwu und der stellvertretende Forscher Wang Suche und adaptive kombinatorische Optimierungsproblemlösung basierend auf der Kursschwierigkeit usw. Forschungsergebnisse wurden auf hochrangigen internationalen Konferenzen zum Thema maschinelles Lernen wie SIGKDD, NeurIPS und ACM MM veröffentlicht.

Rahmendiagramm einiger Forschungsergebnisse

Das Lehrplan-Lernüberprüfungspapier untersucht umfassend die Entstehung, Definition, Theorie und Anwendung des Lehrplan-Lernens und entwirft einen einheitlichen Lehrplan-Lernrahmen Zu den Kernkomponenten innerhalb des Frameworks gehören Kurslernalgorithmen, die in zwei Hauptkategorien und mehrere Unterkategorien unterteilt sind. Dabei werden die Unterschiede und Korrelationen zwischen Kurslernen und anderen Konzepten des maschinellen Lernens unterschieden und die Herausforderungen und die Zukunft aufgezeigt, mit denen dieses Feld konfrontiert ist. Mögliche Forschungsrichtungen.

Klassifizierung von Kurslernmethoden

Die Open-Source-Bibliothek CurML ist eine Unterstützungsplattform für Kurslernalgorithmen. Sie hat mehr als zehn Kurslernalgorithmen integriert und unterstützt sowohl verrauschte als auch nicht-basierte. laut. Ein Anwendungsszenario, das Forschern und Benutzern das Reproduzieren, Bewerten, Vergleichen und Auswählen von Kurslernalgorithmen erleichtert.

CurMLs Hauptmodul ist CL Trainer, das aus zwei Untermodulen besteht: Model Trainer und CL Algorithm. Die beiden interagieren über fünf Schnittstellenfunktionen, um den maschinellen Lernprozess der Kurslernberatung zu realisieren.

CurML-Framework-Diagramm

Hauptmodul: CL Trainer

Dieses Modul ist der Hauptteil der gesamten Open-Source-Bibliothek. Durch den Aufruf dieses Moduls können Benutzer den Kurslernalgorithmus mit nur wenigen Codezeilen implementieren. Nachdem der Datensatz, das Modell und die Hyperparameter angegeben wurden, trainiert das Modul für einen bestimmten Zeitraum und gibt die trainierten Modellparameter und Testergebnisse der Aufgabe aus. Dieses Modul ist hauptsächlich darauf ausgelegt, die Anforderungen an die Benutzerfreundlichkeit zu erfüllen. Daher ist es stark gekapselt und wird Benutzern bereitgestellt, die den Kurslernalgorithmus verwenden möchten, sich aber nicht für die spezifischen Implementierungsdetails interessieren.

Untermodul 1: Modelltrainer

Dieses Modul wird verwendet, um den allgemeinen maschinellen Lernprozess abzuschließen, beispielsweise das Training eines Bildklassifikators oder eines Sprachmodells. Gleichzeitig reserviert es Positionen für fünf Schnittstellenfunktionen für die Interaktion mit dem CL-Algorithmus des zweiten Untermoduls und unterstützt auch benutzerdefinierte Eingabefunktionen.

Untermodul 2: CL-Algorithmus

Dieses Modul kapselt alle von CurML unterstützten Kurslernalgorithmen, wie in der folgenden Tabelle gezeigt:

Das Modul wird über fünf Schnittstellenfunktionen implementiert werden verwendet, um Daten und Modellinformationen aus dem maschinellen Lernprozess zu erhalten und die Lernstrategie des Modells zu steuern, wie in der folgenden Abbildung dargestellt.

CurML-Flussdiagramm

Schnittstellenfunktion: data_prepare

Diese Funktion wird verwendet, um Datensatzinformationen vom Model Trainer-Modul an das CL-Algorithmusmodul bereitzustellen. Viele Kurslernalgorithmen erfordern ein umfassendes Verständnis des Datensatzes, um die Schwierigkeit der Datenstichprobe besser beurteilen zu können. Daher ist diese Schnittstellenfunktion erforderlich.

Schnittstellenfunktion: model_prepare

Diese Funktion ist data_prepare sehr ähnlich. Der Unterschied besteht darin, dass sie keine Datensatzinformationen überträgt, sondern Informationen im Zusammenhang mit dem Modelltraining, wie z. B. Modellarchitektur, Parameteroptimierer und Lernen Rate Adjuster usw. Viele Kurslernalgorithmen steuern das maschinelle Lernen, indem sie diese Faktoren anpassen.

Schnittstellenfunktion: data_curriculum

Diese Funktion wird verwendet, um die Schwierigkeit der Datenstichprobe zu berechnen und basierend auf der Datenschwierigkeit und dem aktuellen Modellstatus geeignete Daten für das Modell bereitzustellen .

Schnittstellenfunktion: model_curriculum

Diese Funktion wird verwendet, um das Modell zu aktualisieren, die Menge an Informationen anzupassen, die das Modell aus Datenproben erhält, und indirekt das Lernen des Modells zu steuern. Derzeit ist die Anzahl solcher Algorithmen sind noch klein, aber CurML unterstützt auch die Implementierung solcher Algorithmen.

Schnittstellenfunktion: loss_curriculum

Diese Funktion wird verwendet, um den Wert der Verlustfunktion neu zu gewichten und indirekt die Auswirkungen verschiedener Daten auf das Modell anzupassen. Diese Art von Algorithmus kommt beim Kurslernen häufiger vor, da der Verlust Bei der Wertgewichtung handelt es sich im Wesentlichen um eine sanfte Stichprobenziehung der Daten.

Durch die Zusammenfassung von mehr als zehn Kurslernmethoden der letzten Jahre können verschiedene Arten von Kurslernalgorithmen unter Verwendung der oben genannten Module und Schnittstellenparameter vereinheitlicht und implementiert werden, sodass die Kurslernalgorithmen unter fairen Szenarien evaluiert werden können Aufgaben vergleichen und auswählen.

Zukunftsausblick

Das Forschungs- und Entwicklungsteam von CurML erklärte, dass es diese Open-Source-Bibliothek auch in Zukunft weiter aktualisieren wird, um weitere Unterstützung für die Entwicklung und Anwendung des Kurslernens bereitzustellen.

Verwandte Links:

• Link zur Open-Source-Codebibliothek von CurML: https:// github .com/THUMNLab/CurML
• CurML Open-Source-Softwarepapier-Link: https://dl.acm.org/doi/pdf/10.1145/3503161.3548549#🎜🎜 ## 🎜🎜#
Link zum Zusammenfassungspapier zum Kurslernen: https://ieeexplore.ieee.org/abstract/document/9392296/
• #🎜🎜 #Link zum Kurs-Meta-Lernpapier: https://dl.acm.org/doi/abs/10.1145/3447548.3467132
• Link zum Kurs-Entkopplungs-Lernpapier: https:/ /proceedings .neurips.cc/paper/2021/file/e242660df1b69b74dcc7fde711f924ff-Paper.pdf
• Kurs-Suchpapier-Link zur neuronalen Architektur: https://dl.acm.org /doi /abs/10.1145/3503161.3548271
• Link zum Kursschwierigkeitsanpassungspapier: https://ojs.aaai.org/index.php/AAAI/article/download/ 20899 /version/19196/20658

Das obige ist der detaillierte Inhalt vonDie Tsinghua-Universität veröffentlicht CurML, die erste Open-Source-Bibliothek für das Lernen von Kursen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!