Posthume Arbeit des OpenAI Super Alignment Teams: Zwei große Modelle spielen ein Spiel und die Ausgabe wird verständlicher

Wenn die Antwort des KI-Modells überhaupt unverständlich ist, trauen Sie sich dann, sie zu verwenden?

Da maschinelle Lernsysteme in immer wichtigeren Bereichen eingesetzt werden, wird es immer wichtiger zu zeigen, warum wir ihren Ergebnissen vertrauen können, und klar zu machen, wann wir ihnen nicht vertrauen sollten.

Eine Möglichkeit, Vertrauen in die Ausgabe eines komplexen Systems zu gewinnen, besteht darin, vom System zu verlangen, dass es eine Interpretation seiner Ausgabe erstellt, die für einen Menschen oder ein anderes vertrauenswürdiges System lesbar ist, das heißt, alles Mögliche vollständig zu verstehen Fehler können abgefangen werden. Um beispielsweise Vertrauen in das Justizsystem aufzubauen, verlangen wir von den Gerichten, dass sie klare und lesbare schriftliche Stellungnahmen abgeben, die ihre Entscheidungen erläutern und stützen.

Für große Sprachmodelle können wir auch einen ähnlichen Ansatz verfolgen.

Allerdings ist es bei diesem Ansatz sehr wichtig sicherzustellen, dass das Sprachmodell verständlichen Text generiert, insbesondere wenn es um komplexe Aufgaben wie Mathematik und Codierung geht.

Wie in der folgenden Abbildung gezeigt, bitten Sie die KI, einen schnellen Sortieralgorithmus zu schreiben. Die KI schreibt ihn schnell und die Antwort ist sehr prägnant. Aber wenn Sie nicht wissen, wie man Code schreibt, wie können Sie dann beurteilen, ob die KI richtig geschrieben ist?

OpenAI hat dieses Problem in einem aktuellen Artikel untersucht.

• Papiertitel: PROVER-VERIFIER GAMES IMPROVE LEGIBILITY OF LLM OUTPUTS
• Papierlink: https://cdn.openai.com/prover-verifier-games-improve-legibility-of-llm- Outputs/legibility.pdf

Sie fanden heraus, dass die Antworten, die sie geben, möglicherweise schwer zu verstehen sind, wenn große Sprachmodelle gebeten werden, Antworten mit dem Ziel zu generieren, „die richtige Antwort zu erhalten“. Die Wahrscheinlichkeit, dass menschliche Bewerter bei der Beurteilung dieser Antworten Fehler machen, ist doppelt so hoch.

Ihr Ziel ist es also, Hochsprachenmodelle zu trainieren, damit sie Texte generieren können, die einfachere Modelle leicht verifizieren können. Sie fanden heraus, dass solche Texte nicht nur für einfache Modelle geeignet, sondern auch für Menschen besser lesbar sind.

Also, wie wird es erreicht? Darin wird auch ein Artikel aus dem Jahr 2021 erwähnt – „Learning to Give Checkable Answers with Prover-Verifier Games“. In diesem Artikel schlugen Cem Anil et al. ein spieltheoretisches Framework namens „Prover-Verifier Games“ vor. Das Framework besteht aus zwei konkurrierenden Lernenden: einem Netzwerk vertrauenswürdiger Prüfer, die versuchen, die richtige Antwort auszuwählen, und einem leistungsfähigeren, aber nicht vertrauenswürdigen Netzwerk von Prüfern, die versuchen, die Prüfer davon zu überzeugen, eine bestimmte Antwort zu akzeptieren, unabhängig von deren Richtigkeit. Das Ziel dieses Frameworks besteht darin, ein zuverlässiges Proof-Protokoll aus dem Spiel zu erstellen.

OpenAI hat sich dieses Framework in dieser neuen Forschung ausgeliehen und zwei große Modelle (das stärkere ist der Beweiser und das schwächere ist der Verifizierer) gegeneinander spielen lassen, bis die beiden ein Gleichgewicht erreichen. Zu diesem Zeitpunkt ist die vom Prüfer gegebene Antwort sowohl lesbar als auch einigermaßen korrekt.

OpenAI sagte, dass es durch die Verbesserung der Lesbarkeit der Modellausgabe die Anwendung künstlicher Intelligenz effektiver und vertrauenswürdiger machen kann, was für verschiedene Bereiche von Vorteil ist, die eine präzise Kommunikation erfordern.

Es ist erwähnenswert, dass dieses Papier vom Super Alignment-Team von OpenAI stammt, von dem mehrere Autoren OpenAI Anfang des Jahres verlassen haben, und dass das Team ebenfalls auseinandergefallen ist. Einer der Autoren gab bekannt, dass dies die letzte Arbeit des Teams sei.

Ein intuitives Beispiel

Um die Lesbarkeit der Modellausgabe zu verbessern, optimierte OpenAI die Denkkette (CoT) einiger Mathematikprobleme in der Grundschule, sodass sie von schwächeren Modellen verstanden werden kann. Hier einige Beispiele:

Frage: Shawnas Vater ist fünfmal älter als Shawna. Shauna ist jetzt dreimal so alt wie Aliya. Wenn Aaliyah 3 ist, wie alt ist Shaunas Vater?

Damit soll überprüft werden, ob die Ausgabe des auf diese Weise trainierten Modells direkter und leichter verständlich ist.

Diese Methode verbessert die Leistung des Modells um 50 % mit nur einigen Optimierungen am Trainingssatz. Gleichzeitig sind die vom Modell ausgegebenen Antworten auch verständlicher, was auch menschlichen Benutzern, die die Richtigkeit dieser Antworten bewerten müssen, hilft, genauere Urteile zu fällen. OpenAI glaubt, dass die weitere Verringerung der Leistungslücke zwischen besser lesbaren und leistungsfähigeren Modellen ein wichtiges Ziel der zukünftigen Alignment-Forschung ist.

Wie spielen „Prüfer“ und „Prüfer“ im Training?

Um das starke Modell (Prüfer) zu motivieren, besser lesbaren Text zu generieren, haben die Forscher ein Trainingsschema eingeführt, das erfordert, dass die vom starken Modell generierten Antworten vom schwächeren Modell (Prüfer) leicht verifiziert werden können. Konkret nutzten sie große und kleine Modelle der GPT-4-Familie. Sie unterscheiden sich in der Menge der Pre-Training-Daten um etwa drei Größenordnungen. Sie alle erhielten eine Schulung zur mathematischen Ableitung auf der Grundlage menschlicher Anmerkungen, jedoch keine umfassende Nachschulung.

Zuerst bat das Forschungsteam das Prüfermodell, zu versuchen, eine Reihe mathematischer Probleme zu lösen. Da das Prüfermodell selbst möglicherweise falsch ist, können einige der von ihm generierten Antworten falsch sein. Als nächstes reichten sie diese Antworten zum Testen an das Verifizierermodell ein und führten mehrere Runden abwechselnder Verifizierung zwischen den folgenden zwei Phasen durch:

• „Verifizierer“-Schulung: Das Forschungsteam trainierte das schwächere „Verifizierer“-Modell überprüft, ob die vom „Prüfer“ gegebene Antwort richtig ist.
• „Prüfer“-Schulung: Das Forschungsteam weist das leistungsfähigere „Prüfer“-Modell an, eine „nützliche“ oder „listige“ Rolle zu spielen.
• Wenn der „Prover“ auf „Nützlich“ eingestellt ist, belohnt das Forschungsteam die richtige Antwort mit einer hohen Punktzahl vom „Verifier“.
• Wenn der „Prüfer“ auf „gerissen“ eingestellt ist, belohnt das Forschungsteam stattdessen den „Prüfer“ mit falschen Antworten mit hoher Punktzahl.

Das Forschungsteam stellte fest, dass ein schlauer „Prüfer“ zunächst leicht falsche Antworten generieren konnte, die den „Prüfer“ überzeugten. Diese falschen Antworten werden jedoch in die nächste Runde des „Verifizierer“-Trainings aufgenommen, und dieselben Schwachstellen werden in der nächsten Runde nicht mehr überzeugen. Daher wird der „Prüfer“ gezwungen sein, in jeder Runde unterschiedliche Strategien auszuprobieren.

Wenn der schlaue „Prüfer“ keine falsche Lösung mehr generieren kann, die den „Prüfer“ überzeugt, endet das Training.

Was haben Forscher herausgefunden?

Kompromiss zwischen Leistung und Lesbarkeit:

• Ein Modell, das nur eine überwachte Feinabstimmung der vom Menschen geschriebenen Ableitung durchführt, weist eine höhere Lesbarkeit, aber eine geringere Genauigkeit auf.
• Wenn das Optimierungsziel des Modells nur die Korrektheit ist, das heißt, es konzentriert sich nur auf die Generierung korrekter Antworten, obwohl eine hohe Genauigkeit erreicht werden kann, ist die Lesbarkeit der generierten Lösungen schlecht.
• Die von OpenAI vorgeschlagene überprüfbare Spielmethode gleicht beides aus und sorgt für eine hohe Lesbarkeit bei gleichzeitig mäßiger Genauigkeit.

Drei nützliche Modelle:

• Robuster Prüfer: Unterscheidet effektiv zwischen richtigen und falschen Lösungen, selbst wenn die Lösungen irreführend sind.
• Nützlicher Beweiser: Generieren Sie Lösungen, die für Menschen verständlich sind, und reduzieren Sie so Fehler menschlicher Bewerter.
• Schlauer Prüfer: Erstellt subtile, fehlerhafte Lösungen, die menschliche Prüfer zunächst verwirren und so Bereiche aufzeigen, in denen weitere Verbesserungen erforderlich sind.

Das Forschungsteam verwendete dieselbe Testfrage, um die generierten Inhalte und den Trainingsprozess von Sneaky Prover zu demonstrieren.

Frage: Shawnas Vater ist fünfmal älter als Shawna. Shauna ist jetzt dreimal so alt wie Aliya.Wenn Aaliyah 3 ist, wie alt ist Shaunas Vater? Fazit Es ist wichtig. Indem Sie von Modellen verlangen, dass sie klare und überprüfbare Gründe für ihre Produktion haben, können Sie das Vertrauen in ihre Produkte stärken.

Ein wesentlicher Vorteil dieses Ansatzes besteht darin, dass er die Abhängigkeit von menschlichen Demonstrationen oder der Beurteilung der Lesbarkeit verringert. Diese Autonomie ist besonders wichtig für die Ausrichtung zukünftiger superintelligenter KI-Systeme mit dem ultimativen Ziel, KI-Systeme ohne direkte menschliche Aufsicht zuverlässig an menschlichen Werten und Erwartungen auszurichten.

Obwohl diese Arbeit nur an einem Datensatz durchgeführt wurde und immer noch Ground-Truth-Labels benötigt werden, geht das Forschungsteam dennoch davon aus, dass dies eine wichtige Rolle bei der Entwicklung eines korrekten, transparenten und überprüfbaren KI-Systems spielen wird erhöhen Sie ihre Vertrauenswürdigkeit und Sicherheit in realen Anwendungen.

Weitere Einzelheiten finden Sie im Originalpapier.

Referenzlink:

https://openai.com/index/prover-verifier-games-improve-legibility/

Das obige ist der detaillierte Inhalt vonPosthume Arbeit des OpenAI Super Alignment Teams: Zwei große Modelle spielen ein Spiel und die Ausgabe wird verständlicher. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!