suchen
HeimTechnologie-PeripheriegeräteKIChatGPT-Thema eins: Entwicklungsgeschichte der GPT-Familie

ChatGPT-Thema eins: Entwicklungsgeschichte der GPT-Familie

May 09, 2023 pm 07:19 PM
chatgptgpt神经网络

​Zeitleiste

Juni 2018

OpenAI veröffentlicht GPT-1-Modell mit 110 Millionen Parametern.

Im November 2018

OpenAI veröffentlichte das GPT-2-Modell mit 1,5 Milliarden Parametern, aber aufgrund von Missbrauchsbedenken sind der gesamte Code und die Daten des Modells nicht für die Öffentlichkeit zugänglich.

Februar 2019

OpenAI hat einige Codes und Daten des GPT-2-Modells geöffnet, der Zugriff ist jedoch weiterhin eingeschränkt.

10. Juni 2019

OpenAI hat das GPT-3-Modell mit 175 Milliarden Parametern veröffentlicht und einigen Partnern Zugriff gewährt.

September 2019

OpenAI hat den gesamten Code und die Daten von GPT-2 geöffnet und eine größere Version veröffentlicht.

Mai 2020

OpenAI kündigte die Einführung der Betaversion des GPT-3-Modells an, das 175 Milliarden Parameter aufweist und das bisher größte Modell zur Verarbeitung natürlicher Sprache ist.

März 2022

OpenAI hat InstructGPT unter Verwendung von Instruction Tuning veröffentlicht

30. November 2022

OpenAI hat die GPT-3.5-Serie großer Sprachmodelle verfeinert und das neue Konversations-KI-Modell ChatGPT wurde offiziell veröffentlicht.

15. Dezember 2022

ChatGPT wird zum ersten Mal aktualisiert, verbessert die Gesamtleistung und fügt neue Funktionen zum Speichern und Anzeigen historischer Gesprächsaufzeichnungen hinzu.

9. Januar 2023

ChatGPT wird zum zweiten Mal aktualisiert, wodurch die Authentizität der Antworten verbessert und eine neue Funktion „Generierung stoppen“ hinzugefügt wird.

21. Januar 2023

OpenAI hat eine kostenpflichtige Version von ChatGPT Professional veröffentlicht, die auf einige Benutzer beschränkt ist.

30. Januar 2023

ChatGPT wird zum dritten Mal aktualisiert, was nicht nur die Authentizität der Antworten, sondern auch die mathematischen Fähigkeiten verbessert.

2. Februar 2023

OpenAI hat den Abonnementdienst für die kostenpflichtige Version von ChatGPT offiziell eingeführt. Im Vergleich zur kostenlosen Version reagiert die neue Version schneller und läuft stabiler.

15. März 2023

OpenAI hat überraschenderweise das groß angelegte multimodale Modell GPT-4 auf den Markt gebracht, das nicht nur Text lesen, sondern auch Bilder erkennen und Textergebnisse generieren kann. Es ist jetzt mit ChatGPT verbunden und für Plus geöffnet Benutzer.

GPT-1: Vorab trainiertes Modell basierend auf Einwegtransformator

Vor dem Aufkommen von GPT wurden NLP-Modelle hauptsächlich auf der Grundlage großer Mengen annotierter Daten für bestimmte Aufgaben trainiert. Dies führt zu einigen Einschränkungen:

Annotationsdaten in großem Maßstab sind nicht einfach zu erhalten.

Das Modell ist auf das erhaltene Training beschränkt und seine Generalisierungsfähigkeit ist nicht ausreichend. Standardaufgaben, die die Anwendung des Modells einschränken.

Um diese Probleme zu überwinden, hat OpenAI den Weg eingeschlagen, große Modelle vorab zu trainieren. GPT-1 ist das erste vorab trainierte Modell, das 2018 von OpenAI veröffentlicht wurde. Es verwendet ein einseitiges Transformer-Modell und verwendet mehr als 40 GB Textdaten für das Training. Die Hauptmerkmale von GPT-1 sind: generatives Vortraining (unüberwacht) + diskriminierende Aufgaben-Feinabstimmung (überwacht). Zuerst nutzten wir das Vortraining für unbeaufsichtigtes Lernen und verbrachten einen Monat mit 8 GPUs, um die Sprachfähigkeiten des KI-Systems aus einer großen Menge unbeschrifteter Daten zu verbessern und eine große Menge an Wissen zu erhalten. Anschließend führten wir eine überwachte Feinabstimmung durch Verglich es mit großen Datensätzen, um die Systemleistung bei NLP-Aufgaben zu verbessern. GPT-1 zeigte eine hervorragende Leistung bei Textgenerierungs- und Textverständnisaufgaben und wurde zu einem der fortschrittlichsten Modelle für die Verarbeitung natürlicher Sprache seiner Zeit.

GPT-2: Multitasking-Vortrainingsmodell

Aufgrund der fehlenden Verallgemeinerung von Einzeltask-Modellen und des Multitasking-Lernens, das eine große Anzahl effektiver Trainingspaare erfordert, wird GPT-2 erweitert und optimiert Auf der Grundlage von GPT-1 wird das überwachte Lernen entfernt und nur das unbeaufsichtigte Lernen beibehalten. GPT-2 verwendet für das Training größere Textdaten und leistungsfähigere Rechenressourcen, und die Parametergröße erreicht 150 Millionen und übertrifft damit die 110 Millionen Parameter von GPT-1 bei weitem. Neben der Verwendung größerer Datensätze und größerer Modelle zum Lernen schlägt GPT-2 auch eine neue und schwierigere Aufgabe vor: Zero-Shot-Lernen (Zero-Shot), bei dem vorab trainierte Modelle direkt auf viele nachgelagerte Aufgaben angewendet werden. GPT-2 hat bei mehreren Aufgaben der Verarbeitung natürlicher Sprache eine hervorragende Leistung gezeigt, darunter Textgenerierung, Textklassifizierung, Sprachverständnis usw.

ChatGPT-Thema eins: Entwicklungsgeschichte der GPT-FamilieGPT-3: Erstellen Sie neue Funktionen zur Generierung und zum Verständnis natürlicher Sprache.

GPT-3 ist das neueste Modell in der GPT-Modellreihe und verwendet eine größere Parameterskala und umfangreichere Trainingsdaten. Die Parameterskala von GPT-3 erreicht 1,75 Billionen, was mehr als dem Hundertfachen der von GPT-2 entspricht. GPT-3 hat erstaunliche Fähigkeiten bei der Erzeugung natürlicher Sprache, der Dialoggenerierung und anderen Sprachverarbeitungsaufgaben gezeigt. Bei einigen Aufgaben kann es sogar neue Formen des Sprachausdrucks schaffen.

GPT-3 schlägt ein sehr wichtiges Konzept vor: In-Context-Lernen. Der spezifische Inhalt wird im nächsten Tweet erläutert.

InstructGPT & ChatGPT

Das Training von InstructGPT/ChatGPT ist in drei Schritte unterteilt, und die für jeden Schritt erforderlichen Daten unterscheiden sich geringfügig. Lassen Sie uns sie unten separat vorstellen.

Beginnen Sie mit einem vorab trainierten Sprachmodell und wenden Sie die folgenden drei Schritte an.

Schritt 1: Überwachte Feinabstimmung von SFT: Sammeln Sie Demonstrationsdaten und trainieren Sie eine überwachte Richtlinie. Unser Tagger liefert eine Demonstration des gewünschten Verhaltens bei der Eingabeaufforderungsverteilung. Anschließend verwenden wir überwachtes Lernen, um das vorab trainierte GPT-3-Modell anhand dieser Daten zu verfeinern.

Schritt 2: Schulung des Belohnungsmodells. Sammeln Sie Vergleichsdaten und trainieren Sie ein Belohnungsmodell. Wir haben einen Datensatz mit Vergleichen zwischen Modellausgaben gesammelt, in dem Labeler angeben, welche Ausgabe sie für eine bestimmte Eingabe bevorzugen. Anschließend trainieren wir ein Belohnungsmodell, um vom Menschen bevorzugte Ergebnisse vorherzusagen.

Schritt 3: Verstärkung des Lernens durch proximale Richtlinienoptimierung (PPO) am Belohnungsmodell: Verwenden Sie die Ausgabe des RM als skalare Belohnung. Wir verwenden den PPO-Algorithmus zur Feinabstimmung der Überwachungsstrategie, um diese Belohnung zu optimieren.

Die Schritte 2 und 3 können kontinuierlich wiederholt werden. Es werden weitere Vergleichsdaten zur aktuellen optimalen Strategie gesammelt, die zum Trainieren eines neuen RM und anschließend einer neuen Strategie verwendet werden.

Die Eingabeaufforderungen für die ersten beiden Schritte stammen aus Benutzernutzungsdaten auf der Online-API von OpenAI und wurden von beauftragten Annotatoren handgeschrieben. Der letzte Schritt wird vollständig aus den API-Daten abgetastet:

1. Der SFT-Datensatz wird verwendet, um das überwachte Modell im ersten Schritt zu trainieren Gesammelte Daten. Passen Sie GPT-3 entsprechend der Trainingsmethode von GPT-3 an. Da GPT-3 ein generatives Modell ist, das auf promptem Lernen basiert, ist der SFT-Datensatz auch eine Stichprobe, die aus Prompt-Antwort-Paaren besteht. Ein Teil der SFT-Daten stammt von Benutzern von OpenAIs PlayGround und der andere Teil stammt von den 40 von OpenAI eingesetzten Labelern. Und sie haben den Etikettierer geschult. In diesem Datensatz besteht die Aufgabe des Annotators darin, basierend auf dem Inhalt selbst Anweisungen zu schreiben.

2. RM-Datensatz

Der RM-Datensatz wird zum Trainieren des Belohnungsmodells in Schritt 2 verwendet. Wir müssen auch ein Belohnungsziel für das Training von InstructGPT/ChatGPT festlegen. Dieses Belohnungsziel muss nicht differenzierbar sein, aber es muss möglichst umfassend und realistisch mit dem übereinstimmen, was das Modell generieren soll. Natürlich können wir diese Belohnung durch manuelle Annotation bereitstellen, indem wir den generierten Inhalten mit Voreingenommenheit niedrigere Bewertungen geben, um das Modell dazu zu ermutigen, keine Inhalte zu generieren, die den Menschen nicht gefallen. Der Ansatz von InstructGPT/ChatGPT besteht darin, das Modell zunächst einen Stapel Kandidatentexte generieren zu lassen und dann den generierten Inhalt mithilfe des Labelers nach der Qualität der generierten Daten zu sortieren.

3. PPO-Datensatz

Die PPO-Daten von InstructGPT sind nicht mit Anmerkungen versehen, sie stammen von GPT-3-API-Benutzern. Es gibt verschiedene Arten von Generierungsaufgaben, die von verschiedenen Benutzern bereitgestellt werden, wobei der höchste Anteil Generierungsaufgaben (45,6 %), Qualitätssicherung (12,4 %), Brainstorming (11,2 %), Dialog (8,4 %) usw. umfasst.

Anhang:

Die verschiedenen Funktionsquellen von ChatGPT:

ChatGPT-Thema eins: Entwicklungsgeschichte der GPT-Familie

Fähigkeiten und Trainingsmethoden von GPT-3 bis ChatGPT und die iterativen Versionen dazwischen:

ChatGPT-Thema eins: Entwicklungsgeschichte der GPT-Familie

Referenzen

1. Demontage und Verfolgung des Ursprungs verschiedener Funktionen von GPT-3.5: https://yaofu.notion.site/GPT-3-5-360081d91ec245f29029d37b54573756

2. Die vollständigste Zeitleiste des gesamten Netzwerks! Von der Vergangenheit und Gegenwart von ChatGPT bis zur aktuellen Wettbewerbslandschaft im KI-Bereich https://www.bilibili.com/read/cv22541079

3: Improving Language Understanding by Generative Pre-Training, OpenAI .

4. GPT-2-Artikel: Sprachmodelle sind unüberwachte Multitask-Lernende, OpenAI.

5, GPT-3-Artikel: Sprachmodelle sind Few-Shot-Lernende, OpenAI.

6, Jason W, Maarten B, Vincent Y , et al. Fein abgestimmte Sprachmodelle sind Zero-Shot-Lernende[J]. arXiv preprint arXiv: 2109.01652, 2021.

7. ——Interpretation des InstructGPT-Papiers https://cloud.tencent.com/developer/news/979148

Das obige ist der detaillierte Inhalt vonChatGPT-Thema eins: Entwicklungsgeschichte der GPT-Familie. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Stellungnahme
Dieser Artikel ist reproduziert unter:51CTO.COM. Bei Verstößen wenden Sie sich bitte an admin@php.cn löschen
Gemma Scope: Das Mikroskop von Google, um in den Denkprozess von AI zu blickenGemma Scope: Das Mikroskop von Google, um in den Denkprozess von AI zu blickenApr 17, 2025 am 11:55 AM

Erforschen der inneren Funktionsweise von Sprachmodellen mit Gemma -Umfang Das Verständnis der Komplexität von KI -Sprachmodellen ist eine bedeutende Herausforderung. Die Veröffentlichung von Gemma Scope durch Google, ein umfassendes Toolkit, bietet Forschern eine leistungsstarke Möglichkeit, sich einzuschütteln

Wer ist ein Business Intelligence Analyst und wie kann man einer werden?Wer ist ein Business Intelligence Analyst und wie kann man einer werden?Apr 17, 2025 am 11:44 AM

Erschließung des Geschäftserfolgs: Ein Leitfaden zum Analyst für Business Intelligence -Analyst Stellen Sie sich vor, Rohdaten verwandeln in umsetzbare Erkenntnisse, die das organisatorische Wachstum vorantreiben. Dies ist die Macht eines Business Intelligence -Analysts (BI) - eine entscheidende Rolle in Gu

Wie füge ich eine Spalte in SQL hinzu? - Analytics VidhyaWie füge ich eine Spalte in SQL hinzu? - Analytics VidhyaApr 17, 2025 am 11:43 AM

SQL -Änderungstabellanweisung: Dynamisches Hinzufügen von Spalten zu Ihrer Datenbank Im Datenmanagement ist die Anpassungsfähigkeit von SQL von entscheidender Bedeutung. Müssen Sie Ihre Datenbankstruktur im laufenden Flug anpassen? Die Änderungstabelleerklärung ist Ihre Lösung. Diese Anleitung Details Hinzufügen von Colu

Business Analyst vs. Data AnalystBusiness Analyst vs. Data AnalystApr 17, 2025 am 11:38 AM

Einführung Stellen Sie sich ein lebhaftes Büro vor, in dem zwei Fachleute an einem kritischen Projekt zusammenarbeiten. Der Business Analyst konzentriert sich auf die Ziele des Unternehmens, die Ermittlung von Verbesserungsbereichen und die strategische Übereinstimmung mit Markttrends. Simu

Was sind Count und Counta in Excel? - Analytics VidhyaWas sind Count und Counta in Excel? - Analytics VidhyaApr 17, 2025 am 11:34 AM

Excel -Datenzählung und -analyse: Detaillierte Erläuterung von Count- und Counta -Funktionen Eine genaue Datenzählung und -analyse sind in Excel kritisch, insbesondere bei der Arbeit mit großen Datensätzen. Excel bietet eine Vielzahl von Funktionen, um dies zu erreichen. Die Funktionen von Count- und Counta sind wichtige Instrumente zum Zählen der Anzahl der Zellen unter verschiedenen Bedingungen. Obwohl beide Funktionen zum Zählen von Zellen verwendet werden, sind ihre Designziele auf verschiedene Datentypen ausgerichtet. Lassen Sie uns mit den spezifischen Details der Count- und Counta -Funktionen ausgrenzen, ihre einzigartigen Merkmale und Unterschiede hervorheben und lernen, wie Sie sie in der Datenanalyse anwenden. Überblick über die wichtigsten Punkte Graf und Cou verstehen

Chrome ist hier mit KI: Tag zu erleben, täglich etwas Neues !!Chrome ist hier mit KI: Tag zu erleben, täglich etwas Neues !!Apr 17, 2025 am 11:29 AM

Die KI -Revolution von Google Chrome: Eine personalisierte und effiziente Browsing -Erfahrung Künstliche Intelligenz (KI) verändert schnell unser tägliches Leben, und Google Chrome leitet die Anklage in der Web -Browsing -Arena. Dieser Artikel untersucht die Exciti

Die menschliche Seite von Ai: Wohlbefinden und VierfacheDie menschliche Seite von Ai: Wohlbefinden und VierfacheApr 17, 2025 am 11:28 AM

Impacting Impact: Das vierfache Endergebnis Zu lange wurde das Gespräch von einer engen Sicht auf die Auswirkungen der KI dominiert, die sich hauptsächlich auf das Gewinn des Gewinns konzentrierte. Ein ganzheitlicherer Ansatz erkennt jedoch die Vernetzung von BU an

5 verwendende Anwendungsfälle für Quantum Computing, über die Sie wissen sollten5 verwendende Anwendungsfälle für Quantum Computing, über die Sie wissen solltenApr 17, 2025 am 11:24 AM

Die Dinge bewegen sich stetig zu diesem Punkt. Die Investition, die in Quantendienstleister und Startups einfließt, zeigt, dass die Industrie ihre Bedeutung versteht. Und eine wachsende Anzahl realer Anwendungsfälle entsteht, um seinen Wert zu demonstrieren

See all articles

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
1 Monate vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
1 Monate vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
1 Monate vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Chat -Befehle und wie man sie benutzt
1 Monate vorBy尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

MinGW – Minimalistisches GNU für Windows

MinGW – Minimalistisches GNU für Windows

Dieses Projekt wird derzeit auf osdn.net/projects/mingw migriert. Sie können uns dort weiterhin folgen. MinGW: Eine native Windows-Portierung der GNU Compiler Collection (GCC), frei verteilbare Importbibliotheken und Header-Dateien zum Erstellen nativer Windows-Anwendungen, einschließlich Erweiterungen der MSVC-Laufzeit zur Unterstützung der C99-Funktionalität. Die gesamte MinGW-Software kann auf 64-Bit-Windows-Plattformen ausgeführt werden.

EditPlus chinesische Crack-Version

EditPlus chinesische Crack-Version

Geringe Größe, Syntaxhervorhebung, unterstützt keine Code-Eingabeaufforderungsfunktion

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

SublimeText3 Linux neue Version

SublimeText3 Linux neue Version

SublimeText3 Linux neueste Version

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung