Verständnis der Entwicklung von ChatGPT: Teil 2 – GPT-2 und GPT-3

Dieser Artikel untersucht die Entwicklung der GPT-Modelle von OpenAI und konzentriert sich auf GPT-2 und GPT-3. Diese Modelle stellen eine signifikante Verschiebung des Ansatzes zum LLM-Training (Language Model) dar und bewegt sich vom traditionellen Paradigma "Pre-Training plus Feinabstimmung" in Richtung eines "Nur Pre-Training" -Ansatzes.

Diese Verschiebung wurde durch Beobachtungen der Null-Shot-Fähigkeiten von GPT-1 angetrieben-deren Fähigkeit, Aufgaben auszuführen, für die sie nicht speziell ausgebildet worden war. Um dies besser zu verstehen, lassen Sie uns mit den Schlüsselkonzepten eingehen:

Teil 1: Die Paradigmenverschiebung und seine Enabler

Die Einschränkungen der Feinabstimmung, insbesondere für die Vielzahl unsichtbarer NLP-Aufgaben, motivierten den Schritt in Richtung von Aufgaben-agnostischem Lernen. Die Feinabstimmung großer Modelle für kleine Datensätze besteht Risiken über eine Überanpassung und eine schlechte Verallgemeinerung. Die menschliche Fähigkeit, Sprachaufgaben ohne massive beaufsichtigte Datensätze zu lernen, unterstützt diese Verschiebung weiter.

Drei Schlüsselelemente erleichterten diese Paradigmenverschiebung:

• Task-agnostisches Lernen (Meta-Learning): Dieser Ansatz ausstäbt das Modell mit einem breiten Fertigkeit während des Trainings aus und ermöglicht es ihm, sich schnell an neue Aufgaben anzupassen, ohne weitere Feinabstimmung zu erhalten. Modell-agnostisches Meta-Learning (MAML) veranschaulicht dieses Konzept.

• Die Skalenhypothese: Diese Hypothese setzt voraus, dass größere Modelle, die auf größeren Datensätzen trainiert wurden, aufkommende Funktionen aufweisen - Fähigkeiten, die unerwartet mit der Modellgröße und der Datenerhöhung erscheinen. GPT-2 und GPT-3 dienten als Experimente, um dies zu testen.

• In-Context-Lernen: Diese Technik beinhaltet die Bereitstellung des Modells mit einem natürlichen Sprachanweis und einigen Beispielen (Demonstrationen) zum Inferenzzeit, sodass es die Aufgabe aus diesen Beispielen ohne Gradienten-Updates erlernen kann. Null-Shot-, One-Shot- und Wenig-Shot-Lernen repräsentieren unterschiedliche Beispielniveaus.

Teil 2: GPT-2-Ein Sprungbrett

GPT-2 basiert auf der Architektur von GPT-1 mit mehreren Verbesserungen: modifizierter Layernorm-Platzierung, Gewichtskalierung für Restschichten, erweitertes Wortschatz (50257), erhöhte Kontextgröße (1024 Token) und größere Chargengröße (512). Vier Modelle wurden mit Parameterzahlen im Bereich von 117 m und 1,5B trainiert. Der Trainingsdatensatz WebText umfasste ungefähr 45 m Links. Während GPT-2 vielversprechende Ergebnisse zeigte, insbesondere bei der Sprachmodellierung, blieb es hinter hochmodernen Modellen für Aufgaben wie Leseverständnis und Übersetzung zurück.

Teil 3: GPT-3-Ein Sprung nach vorne

gpt-3 behielt eine ähnliche Architektur wie GPT-2 bei, was sich hauptsächlich in der Verwendung von abwechselnden dichten und spärlichen Aufmerksamkeitsmustern unterscheidet. Acht Modelle wurden von 125 m bis 175B Parametern trainiert. Die Trainingsdaten waren signifikant größer und vielfältiger, mit sorgfältiger Kuration und Gewichtung von Datensätzen basierend auf Qualität.

Schlüsselergebnisse aus der Bewertung von GPT-3 zeigen die Wirksamkeit der Skalenhypothese und des In-Kontext-Lernens. Die Leistung skalierte reibungslos mit erhöhter Berechnung, und größere Modelle zeigten eine überlegene Leistung bei Null-Shot-, One-Shot- und wenigen Lerneinstellungen.

Teil 4: Schlussfolgerung

GPT-2 und GPT-3 stellen signifikante Fortschritte bei der LLM-Entwicklung dar und ebnen den Weg für die zukünftige Forschung zu aufstrebenden Funktionen, Schulungsparadigmen, Datenreinigung und ethischen Überlegungen. Ihr Erfolg unterstreicht das Potenzial des aufgabenagnostischen Lernens und die Kraft, sowohl die Modellgröße als auch die Trainingsdaten zu skalieren. Diese Forschung beeinflusst weiterhin die Entwicklung nachfolgender Modelle wie GPT-3.5 und InstructGpt.

für verwandte Artikel in dieser Serie siehe:

Teil 1: Verständnis der Entwicklung von ChatGPT: Teil 1-Ein ausführlicher Blick auf GPT-1 und was es inspiriert hat.
Teil 3: Erkenntnisse aus Codex und InstructGpt

Das obige ist der detaillierte Inhalt vonVerständnis der Entwicklung von ChatGPT: Teil 2 – GPT-2 und GPT-3. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!