IBM beteiligt sich am Kampf! Eine Open-Source-Methode zur kostengünstigen Umwandlung jedes großen Modells in ChatGPT, wobei einzelne Aufgaben über GPT-4 hinausgehen

Es gibt drei Prinzipien von Robotern in der Science-Fiction, aber IBM sagte, dass dies nicht ausreicht und sechzehn Prinzipien erfordert.

In der neuesten großen Modellforschungsarbeit, die auf den Sechzehn Prinzipien basiert, ließ IBM KI den Ausrichtungsprozess selbst abschließen.

Der gesamte Prozess erfordert nur 300 Zeilen (oder weniger)von Menschen annotierte Daten, um das grundlegende Sprachmodell in einen KI-Assistenten im ChatGPT-Stil umzuwandeln.

Noch wichtiger ist, dass die gesamte Methode vollständig Open Source ist, was bedeutet, dass jeder diese Methode nutzen kann, um kostengünstigein einfaches Sprachmodell in ein ChatGPT-ähnliches Modell umzuwandeln.

Mit dem Open-Source-Alpaka LLaMA als Basismodell trainierte IBM Dromedar (Dromedar), das im TruthfulQA-Datensatz sogar Ergebnisse erzielte, die GPT-4 übertrafen.

Zusätzlich zu IBM Research MIT-IBM Watson AI Lab, CMU LIT (Language Technology Institute) und University of Massachusetts Amherst Forscher.

Ein „dünnes“ Dromedar-Kamel ist größer als ein Pferd

Wie stark ist dieses Dromedar-Kamel von IBM und CMU?

Schauen wir uns zunächst ein paar Beispiele an.

Im Mathematiktest der UC Berkeley Vicuna haben GPT-3 und eine Reihe von Open-Source-Modellen die Schritte nicht richtig gemacht, aber nur die Dromedary-Schrittergebnisse waren korrekt.

Beim Ethiktest von InstructGPT lehnten einige Models direkt die Antwort auf die Frage „Wie man im Supermarkt stiehlt, ohne erwischt zu werden“ ab, und InsturctGPT versuchte auch, einige Vorschläge zu machen.

Nur Dromedary wies darauf hin, dass dies illegal sei und riet dem Fragesteller gleichzeitig, aufzugeben.

Das Forschungsteam führte eine quantitative Analyse zu Dromedary im Benchmark durch und lieferte auch qualitative Analyseergebnisse zu einigen Datensätzen.

Noch etwas: Die Temperatur aller von Sprachmodellen generierten Texte ist standardmäßig auf 0,7 eingestellt.

Gehen Sie direkt zu den Wettbewerbsergebnissen –

Dies ist eine Multiple-Choice-Frage (MC) Die Genauigkeit des TruthfulQA-Datensatzes wird normalerweise verwendet, um die Fähigkeit des Modells zu bewerten, die Wahrheit zu identifizieren, insbesondere in realen Kontexten.

Es ist ersichtlich, dass die Genauigkeit die Anthropic- und GPT-Serie übertrifft, unabhängig davon, ob es sich um Dromedary ohne langwieriges Klonen oder um die endgültige Version von Dromedary handelt.

Dies sind die Daten, die aus der Generierungsaufgabe in TruthfulQA erhalten wurden. Bei den angegebenen Daten handelt es sich um die „glaubwürdigen Antworten“ und „glaubwürdigen und informativen Antworten“ in den Antworten.

(Auswertung über OpenAI API)

Dies ist die Genauigkeit der Multiple-Choice-Frage (MC) im HHH-Eval-Datensatz.

Dies ist ein Vergleich der Antworten zum Vicuna-Benchmark-Problem, bewertet durch GPT-4.

und die relative Qualität der Antworten zum Vicuna-Benchmark-Problem, ebenfalls bewertet durch GPT-4.

Die neue Methode SELF-ALIGN

Dromedary basiert auf der Transformer-Architektur, basiert auf dem Sprachmodell LLaMA-65b, und die neuesten Erkenntnisse liegen im September 2021 vor.

Den öffentlichen Informationen zufolge beträgt die Trainingszeit für Dromedar nur einen Monat (April bis Mai 2023).

Wie hat Dromedary in etwa 30 Tagen die Selbstausrichtung des KI-Assistenten mit sehr wenig menschlicher Aufsicht erreicht?

Ohne etwas zu verraten, schlug das Forschungsteam eine neue Methode vor, die prinzipielles Denken und LLM-Generierungsfähigkeiten kombiniert: SELF-ALIGN (Selbstausrichtung) .

Insgesamt muss SELF-ALIGN nur einen kleinen, vom Menschen definierten Prinzipiensatz verwenden, um den LLM-basierten KI-Assistenten während der Generierung zu leiten, wodurch das Ziel erreicht wird, den Arbeitsaufwand der menschlichen Überwachung drastisch zu reduzieren.

Konkret lässt sich diese neue Methode in 4 Schlüsselphasen unterteilen:

△ SELBST-AUSRICHTUNG, 4 Schlüsselschritte, Phasen

Die erste Phase, themengesteuertes Red-Teaming-Selbstunterricht.

Self-Instruct wurde in der Arbeit „Self-instruct: Aligning language model with self-generated Instructions“ vorgeschlagen.

Es handelt sich um ein Framework, das mit minimalem manuellen Anmerkungsaufwand eine große Datenmenge für die Befehlsoptimierung generieren kann.

Basierend auf dem Selbstinstruktionsmechanismus werden in dieser Phase 175 Startaufforderungen verwendet, um synthetische Anweisungen zu generieren. Darüber hinaus gibt es 20 spezifische Themenaufforderungen, um sicherzustellen, dass die Anweisungen eine Vielzahl von Themen abdecken können.

Auf diese Weise können wir sicherstellen, dass die Anweisungen die Szenarien und Kontexte, mit denen der KI-Assistent in Kontakt kommt, vollständig abdecken und so die Wahrscheinlichkeit einer möglichen Verzerrung verringern.

Die zweite Stufe, prinzipiengesteuerte Selbstausrichtung.

Damit die Antworten des KI-Assistenten nützlich, zuverlässig und ethisch sind, definierte das Forschungsteam in diesem Schritt eine Reihe von 16 Prinzipien in englischer Sprache als „Richtlinien“.

Die 16 Prinzipien umfassen sowohl die ideale Qualität der vom KI-Assistenten generierten Antworten als auch die Regeln hinter dem Verhalten des KI-Assistenten beim Erhalten der Antworten.

In-Kontext-Lernen(ICL, In-Context-Lernen)Wie generiert der KI-Assistent im Workflow Antworten, die den Prinzipien entsprechen?

Der vom Forschungsteam gewählte Ansatz besteht darin, dass der KI-Assistent jedes Mal, wenn er eine Antwort generiert, denselben Satz von Beispielen abfragt, anstatt der unterschiedlichen Sätze von durch Menschen gekennzeichneten Beispielen, die in früheren Arbeitsabläufen erforderlich waren.

Dann fordern Sie LLM auf, ein neues Thema zu generieren, und lassen Sie LLM nach dem Löschen doppelter Themen neue Anweisungen und neue Anweisungen generieren, die dem angegebenen Anweisungstyp und Thema entsprechen.

Basierend auf den 16 Prinzipien, ICL-Beispielen und der ersten Stufe des Selbstunterrichts werden die Matching-Regeln des LLM hinter dem KI-Assistenten ausgelöst.

Weigern Sie sich, den generierten Inhalt auszuspucken, sobald festgestellt wird, dass er schädlich oder nicht konform ist.

Die dritte Stufe, Prinzipgravur.

Die Hauptaufgabe dieser Phase besteht darin, das ursprüngliche LLM auf die selbstausgerichtete Antwort abzustimmen. Die hier erforderlichen selbstausgerichteten Antworten werden von LLM durch Selbstaufforderung generiert.

Gleichzeitig wurde auch das verfeinerte LLM im Prinzip und in der Demonstration beschnitten.

Der Zweck der Feinabstimmung besteht darin, dem KI-Assistenten die direkte Generierung von Antworten zu ermöglichen, die gut auf die menschlichen Absichten abgestimmt sind, auch ohne die Verwendung des 16-Prinzips und des ICL-Paradigmas vorzuschreiben.

Erwähnenswert ist, dass durch die gemeinsame Nutzung von Modellparametern die vom KI-Assistenten generierten Antworten auf eine Vielzahl unterschiedlicher Fragen ausgerichtet werden können.

Die vierte Stufe, Verbose Cloning.

Um seine Fähigkeiten zu stärken, nutzte das Forschungsteam in der letzten Phase die Kontextdestillation(Kontextdestillation), um letztendlich umfassendere und detailliertere Inhalte zu generieren.

△Vergleich der vier Stufen zwischen dem klassischen Prozess (InstructGPT) und SELF-ALIGN

Schauen wir uns die intuitivste Tabelle an, die die Überwachungsmethoden enthält, die von neuerer Closed-Source-/Open-Source-KI verwendet werden Assistenten .

Zusätzlich zu der von Dromedary in dieser Studie vorgeschlagenen neuen Selbstausrichtungsmethode werden frühere Forschungsergebnisse SFT (überwachte Feinabstimmung) , RLHF (Reinforcement Learning using Human Feedback) und CAI (Constitutional AI) verwenden und KD (Wissensdestillation) .

Man erkennt, dass bisherige KI-Assistenten wie InstructGPT oder Alpaca mindestens 50.000 menschliche Annotationen benötigen.

Allerdings beträgt die Anzahl der für den gesamten SELF-ALIGN-Prozess erforderlichen Kommentare weniger als 300 Zeilen (einschließlich 195 Startaufforderungen, 16 Prinzipien und 5 Beispiele).

Das Team hinter

Das Team hinter Dromedary kommt von IBM Research MIT-IBM Watson AI Lab, CMU LTI (Language Technology Institute) und der University of Massachusetts Amherst.

IBM Research Institute MIT-IBM Watson AI Lab wurde 2017 gegründet. Es ist eine Gemeinschaft von Wissenschaftlern, die zwischen dem MIT und dem IBM Research Institute zusammenarbeiten.

Kooperiert hauptsächlich mit globalen Organisationen, um Forschung rund um KI zu betreiben, und setzt sich dafür ein, den bahnbrechenden Fortschritt der KI zu fördern und Durchbrüche in reale Auswirkungen umzuwandeln. Das

CMU Language Technology Institute ist eine Abteilung auf Abteilungsebene des Fachbereichs Informatik an der CMU. Es beschäftigt sich hauptsächlich mit NLP, IR (Information Retrieval) und anderer Forschung im Zusammenhang mit Computerlinguistik (Computerlinguistik). ).

Die University of Massachusetts Amherst ist der Flaggschiff-Campus des Systems der University of Massachusetts und eine Forschungsuniversität.

Einer der Autoren der Dissertation hinter Dromedary, Zhiqing Sun, ist derzeit Doktorand an der CMU und hat seinen Abschluss an der Peking-Universität gemacht.

Das etwas Lustige ist, dass, als er die KI während des Experiments nach seinen Grundinformationen fragte, alle KIs einen zufälligen Absatz ohne Daten bildeten .

Er konnte nichts dagegen tun, also musste er den Fehlerfall in die Zeitung schreiben:

Es ist so lustig, dass ich nicht anders kann, als zu lachen, hahahahahahaha! ! !

Es scheint, dass das Problem, dass KI Unsinn redet, neue Methoden zur Lösung erfordert.

Das obige ist der detaillierte Inhalt vonIBM beteiligt sich am Kampf! Eine Open-Source-Methode zur kostengünstigen Umwandlung jedes großen Modells in ChatGPT, wobei einzelne Aufgaben über GPT-4 hinausgehen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!