Kann maschinelles Lernen allein durch Sprechen ohne numerische Berechnungen durchgeführt werden? Ein neues ML-Paradigma, das auf natürlicher Sprache basiert, steht vor der Tür

Die AIxiv-Kolumne ist eine Kolumne, in der diese Website akademische und technische Inhalte veröffentlicht. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. Einreichungs-E-Mail: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

Der Autor dieses Artikels, Xiao Zhenzhong, ist Doktorand am Max-Planck-Institut für Intelligente Systeme und der Universität Tübingen in Deutschland, und Robert Bamler ist Doktorand an der Universität Tübingen, Professor für maschinelles Lernen an der Universität, Bernhard Schölkopf ist Direktor des Max-Planck-Instituts für Intelligente Systeme und Liu Weiyang ist Forscher im Max-Planck-Institut für Cambridge Joint Project.

Papieradresse: https://arxiv.org/abs/2406.04344

In traditionellen maschinellen Lernszenarien wie Klassifizierungs- und Regressionsproblemen lernen wir anhand von Trainingsdaten, ein Funktionsmodell durch Optimierung von Parametern genau zu beschreiben die Beziehung zwischen und im Trainingssatz und Testsatz. Darunter ist eine Funktion, die auf numerischen Werten basiert. Ihre Parameter sind normalerweise numerische Vektoren oder Matrizen im kontinuierlichen Raum. Der Optimierungsalgorithmus aktualisiert iterativ, indem er den numerischen Gradienten berechnet, um den Lerneffekt zu erzielen.

Können wir statt numerischer Werte natürliche Sprache verwenden, um ein Modell darzustellen? Wie führt man Inferenzen und Schulungen für dieses nicht-numerische Modell basierend auf natürlicher Sprache durch?

Verbalized Machine Learning (VML; Verbalized Machine Learning) beantwortet diese Fragen und schlägt ein neues Paradigma des maschinellen Lernens auf Basis natürlicher Sprache vor. VML behandelt das Large Language Model (LLM) als universellen Funktionsnäherungsmechanismus im natürlichen Sprachraum, und die Daten und Parameter sind beide Strings im natürlichen Sprachraum. Bei der Inferenz können wir die gegebenen Eingabedaten und Parameter an LLM übermitteln, und die Antwort des LLM ist die Antwort auf die Inferenz .

Für beliebige Aufgaben und Daten , wie bekommen wir ? Beim traditionellen maschinellen Lernen basierend auf numerischen Werten aktualisieren wir die vorhandenen Modellparameter in Richtung abnehmender Verluste, indem wir den Gradienten der Verlustfunktion berechnen und so die Optimierungsfunktion von erhalten:

wobei und die Lernrate bzw. die Verlustfunktion sind.

Da die Daten und Parameter in der VML-Umgebung beide Zeichenfolgen sind und LLM als Black-Box-Inferenz-Engine betrachtet wird, können wir nicht durch numerische Berechnungen optimieren. Aber da wir LLM als allgemeine Näherungsfunktion im Raum natürlicher Sprache verwendet haben, um die Modellfunktion anzunähern, und der Optimierer von auch eine Funktion ist, warum verwenden wir nicht auch LLM, um sie anzunähern? Daher kann die verbale -Optimierungsfunktion als

geschrieben werden, wobei

die Trainingsdaten und Modellvorhersageergebnisse einer Charge von sind und die Parameter der Optimierungsfunktion sind (dasselbe gilt für natürliche Sprache).

Abbildung 1: Trainingsalgorithmus von VML.

中 Abbildung 2: Beispielbeispiele natürlichsprachlicher Vorlagen von Modellen und Optimierern in VML.

Abbildung 1 zeigt den vollständigen Algorithmus von VML. Es ist ersichtlich, dass es im Grunde dasselbe ist wie der herkömmliche Algorithmus für maschinelles Lernen. Der einzige Unterschied besteht darin, dass die Daten und Parameter Zeichenfolgen im natürlichen Sprachraum sind und das Modell
und der Optimierer

beide Inferenzen im natürlichen Sprachraum durchführen LLM. Abbildung 2 zeigt spezifische Vorlagenbeispiele des Modells

und des Optimierers in der Regressionsaufgabe.

Im Vergleich zum herkömmlichen maschinellen Lernen gehören zu den Vorteilen von VML: (1) Sie können dem Modell eine induktive Vorspannung hinzufügen, indem Sie eine einfache Beschreibung in natürlicher Sprache verwenden. (2) Da keine Voreinstellung der Funktionsfamilie erforderlich ist Nach dem Modell (Funktionsfamilie) kann der Optimierer
während des Trainingsprozesses automatisch die Funktionsfamilie des Modells auswählen. (3) Die Optimierungsfunktion liefert für jede Aktualisierung der Modellparameter eine Erklärung und Begründung in natürlicher Sprache Die Modelle sind ebenfalls natürlichsprachlich und erklärbar.

... Ion. Während des ersten Optimierungsschritts sagte der Optimierer, er habe festgestellt, dass einen größeren Wertebereich als

habe und diese positiv korreliert zu sein schienen, und beschloss daher, das Modell auf ein einfaches lineares Regressionsmodell zu aktualisieren.

Im zweiten Schritt der Optimierung sagte der Optimierer, dass die schlechte Leistung des aktuellen Modells ihn erkennen ließ, dass die Annahme des linearen Modells zu einfach sei, und stellte fest, dass zwischen eine nichtlineare Beziehung besteht und , daher wurde beschlossen, das Modell auf eine quadratische Funktion zu aktualisieren.

Im dritten Schritt der Optimierung verlagert sich der Fokus des Optimierers von der Auswahl der Funktionsfamilie auf die Parameteränderung der quadratischen Funktion. Das endgültige Modell erfährt ein Ergebnis, das der realen Funktion sehr nahe kommt.在 Abbildung 3: Die Trainingsprozessaufzeichnung von VML in der Multi-Split-Regressionsmission.

Nichtlineare zweidimensionale Ebenenklassifizierung

Wie in Abbildung 4 gezeigt, sind die Anfangsparameter des Modells

die Definition der zweidimensionalen Ebenenklassifizierung und die Der Satz „Entscheidungsgrenze“ wird als „Es ist ein Kreis“ verwendet und eine induktive Vorspannung hinzugefügt. Im ersten Schritt der Optimierung gibt der Optimierer an, dass er das Modell basierend auf dem bereitgestellten Prior auf eine Kreisgleichung aktualisiert. In den nächsten Optimierungsschritten passt der Optimierer den Mittelpunkt und den Radius der Kreisgleichung basierend auf den Trainingsdaten an. Bis Schritt 41 sagte der Optimierer, dass das aktuelle Modell gut zu passen schien, und stoppte daher die Aktualisierung des Modells.

Gleichzeitig können wir auch sehen, dass VML auch ein gutes Modell basierend auf Entscheidungsbäumen lernen kann, ohne induktive Verzerrungen hinzuzufügen, aber der Trainingsverlust schwankt im Vergleich stärker.

                                                                                                                                                                                       ^{Abbildung 4: Aufzeichnung des Trainingsprozesses von VML in der nichtlinearen zweidimensionalen Ebenenklassifizierungsaufgabe.}

Binäre Klassifizierung medizinischer Bilder

Wenn das große Modell multimodale Eingaben wie Bilder und Text akzeptiert, kann VML auch für Bildaufgaben verwendet werden. In diesem Experiment haben wir die GPT-4o- und PneumoniaMNIST-Datensätze verwendet, um eine Röntgen-Pneumonie-Erkennungsaufgabe durchzuführen.

Wie in Abbildung 5 gezeigt, haben wir zwei Modelle initialisiert. Die Anfangsparameter der Modelle sind beide als zweite Klassifizierung von Bildern definiert, aber eines von ihnen fügte einen Satz hinzu: „Als Eingabe wird ein Röntgenbild verwendet.“ zur Lungenentzündungserkennung.“ der induktiven Vorspannung von vornherein. Nach fünfzig Trainingsschritten erreichten beide Modelle eine Genauigkeit von etwa 75 %, wobei das Modell mit Prior etwas genauer war.

Wenn wir uns die Modellparameter nach Schritt 50 genau ansehen, können wir sehen, dass die Modellbeschreibung mit induktiver Verzerrung viele medizinische Begriffe im Zusammenhang mit Lungenentzündung enthält, wie z. B. „Infektion“ und „Entzündung“, nicht jedoch die Modellbeschreibung mit induktiver Verzerrung Bias beschreibt nur die Eigenschaften von Lungenröntgenstrahlen, wie „Transparenz“ und „Symmetrie“.

Gleichzeitig können die von diesen Modellen erlernten Beschreibungen von Ärzten mit Fachkenntnissen überprüft werden. Solche interpretierbaren und vom Menschen überprüfbaren Modelle des maschinellen Lernens sind in sicherheitskritischen medizinischen Szenarien wertvoll.

                                                                                                                                                                                  ^{Abbildung 5: VML-Trainingsaufzeichnung zur binären Bildklassifizierung von PneumoniaMNIST. Fazit und Interpretierbarkeit von VML bei Klassifizierungsaufgaben.}

Das obige ist der detaillierte Inhalt vonKann maschinelles Lernen allein durch Sprechen ohne numerische Berechnungen durchgeführt werden? Ein neues ML-Paradigma, das auf natürlicher Sprache basiert, steht vor der Tür. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!