Was ist ChatGPT? Wofür stehen G, P und T?

Bill Gates: ChatGPT ist der revolutionärste technologische Fortschritt seit 1980.

In dieser Ära der KI-Transformation können wir nur mitmachen und mithalten.

Dies ist meine Studiennotiz. Ich hoffe, sie hilft Ihnen, ChatGPT zu verstehen.

1. Wofür stehen die GPTs in ChatGPT?

GPT, Generative Pre-trained Transformer, generatives vortrainiertes Transformationsmodell.

Was bedeutet das?

Generativ bedeutet, dass Inhalte spontan generiert werden können.

Vorab trainiert, vorab trainiert, Sie müssen es nicht erneut erwerben. Es bereitet direkt ein allgemeines Sprachmodell für Sie vor.

Transformer, Transformationsmodell, ist ein sehr leistungsfähiges Modell, das von Google vorgeschlagen wird. Es kann helfen, NLP-bezogene Probleme besser zu lösen. Es ist eine sehr gute neuronale Netzwerkstruktur.

2. Obwohl Transformer von Google vorgeschlagen wurde. Die erfolgreichste Anwendung ist jedoch ChatGPT von OpenAI.

Weil ChatGPT auf den Schultern von Giganten steht.

ChatGPT ist die Kristallisation der gesamten menschlichen Gesellschaft. Ohne den Wegbereiter wäre ChatGPT nicht so reibungslos zustande gekommen.

Es wird in Zukunft noch leistungsfähigere Anwendungen geben, die auf ChatGPT basieren.

3. Es gibt ein sehr wichtiges Konzept in Transformer, den Aufmerksamkeitsmechanismus.

Was ist der Aufmerksamkeitsmechanismus?

Es bedeutet, aus den von Ihnen eingegebenen Informationen die wichtigen Informationen auszuwählen, sich auf diese wichtigen Informationen zu konzentrieren und die unwichtigen Informationen zu ignorieren. Auf diese Weise können Sie besser verstehen, was Sie sagen.

Der Aufmerksamkeitsmechanismus kann dem Transformer-Modell helfen, sich auf den wichtigsten Teil der Eingabeinformationen zu konzentrieren.

4. Methoden des maschinellen Lernens werden in überwachtes Lernen, unüberwachtes Lernen und verstärkendes Lernen unterteilt.

Überwachtes Lernen: Es gibt beschriftete Daten, direktes Feedback und die Ergebnisse und die Zukunft können vorhergesagt werden.

Unüberwachtes Lernen: Es gibt keine Beschriftungen und Ziele, kein Feedback, sondern es sucht selbst nach versteckten Ergebnissen in den Daten

Verstärkungslernen: Der Entscheidungsprozess verfügt über eine Reihe von Belohnungs- und Bestrafungsmechanismen, damit maschinelles Lernen besser funktioniert. ChatGPT nutzt unbeaufsichtigtes Lernen und Verstärkungslernen.

5. ChatGPT kann eine große Menge an Inhalten generieren und erstellen, die tatsächlich auf der Wahrscheinlichkeit von Schätzungen beruhen.

Zum Beispiel ist das Wetter grau und meine Stimmung ist sehr ___

Die mit einer großen Datenmenge trainierte KI wird vorhersagen, dass das Wort mit der höchsten Wahrscheinlichkeit, in diesem Bereich zu erscheinen, „deprimiert“ ist.

Dann wird „deprimiert“ in diese Lücke eingefügt, die Antwort lautet also:

Das Wetter ist grau und grau und ich fühle mich sehr deprimiert

Das fühlt sich unglaublich an, aber es ist die Wahrheit.

Alle NLP-Aufgaben (Natural Language Processing) in dieser Phase sind keine Maschinen, die die menschliche Welt wirklich verstehen können.

Er spielt nur Wortspiele und löst immer wieder Wahrscheinlichkeitsrätsel.

6. In diesem Wortspiel des „Erratens der Wahrscheinlichkeit“ hat sich das Large Language Model (LLM, Large Language Model) in die beiden gängigsten Richtungen entwickelt: BERT und GPT.

BERT war zuvor die beliebteste Richtung und dominierte fast alle NLP-Bereiche.

Und erbringen gute Leistungen bei Aufgaben zum Verstehen natürlicher Sprache (z. B. Textklassifizierung, Beurteilung emotionaler Tendenzen usw.).

Die GPT-Richtung ist relativ schwach und der bekannteste Spieler ist OpenAl.

Tatsächlich war die Richtung von GPT vor der Veröffentlichung von GPT3.0 immer schwächer als die von BERT (GPT3.0 ist der Vorgänger von GPT3.5, dem Modell hinter ChatGPT).

7. Was ist der Unterschied zwischen BERT und GPT?

BERT ist ein bidirektionales Sprachmodell, das das Wort in der Mitte vor und nach der Verbindung errät, also bidirektional ist, genau wie das Ausfüllen der Lücken.

Zum Beispiel: Ich___gehe am 20. nach Hause

BERT hat geraten „Ich habe vor, am 20. nach Hause zu gehen“ und den „Plan“ in der Mitte erraten.

GPT ist ein einseitiges Sprachmodell, das das nächste Wort errät, also einseitig ist, wie das Schreiben einer Komposition.

Zum Beispiel: Ich habe vor, am 20. nach Hause zu gehen___

GPT hat „Ich habe vor, am 20. nach Hause zu gehen“ geraten und das Wort „nach Hause gehen“ danach erraten.

8. Wie stelle ich Fragen an GPT?

Es gibt zwei Möglichkeiten: Feinabstimmung und Prompt.

Feinabstimmung, Parameteranpassung: Die Modellparameter müssen aktualisiert werden, um den generierten Inhalt zu vervollständigen.

Die Feinabstimmung ist professionell, mit hoher Schwelle und kleinem Publikum. Es weist jedoch eine hohe Diversität und Genauigkeit auf und ist für komplexe Aufgaben geeignet. Ein Spiel für ein paar Spieler.

prompt, promptes Wort: Das Modell und die Parameter müssen nicht geändert werden. Geben Sie einfach einige Tipps und Beispiele, um die Aufgabe abzuschließen.

prompt ist einfacher, hat eine niedrige Schwelle und ein großes Publikum. Geeignet für die Bewältigung einfacher Aufgaben. Alle Spieler sind.

Der Inhalt, den wir in das ChatGPT-Eingabefeld eingeben, ist die Eingabeaufforderung.

9. ChatGPT ist generative KI.

KI wird hinsichtlich der Content-Produktionsmethoden in zwei Typen unterteilt: analytische KI und generative KI.

Analytische KI wird hauptsächlich zur Analyse und Klassifizierung eingesetzt. Wie viele Daten Sie ihm zuführen, welche Art von Inhalten es analysieren kann, es ist auf die Daten selbst beschränkt.

Generative KI, basierend auf lernender und zusammenfassender Datenverteilung, erstellt neue Inhalte, die in den Daten nicht vorhanden sind. Kann Text, Bilder, Code, Sprachsynthese, Videos und 3D-Modelle generieren.

ChatGPT ist eine generative KI, die sich am besten für das Schreiben von Text und Code eignet.

10. Aus Sicht des Wissenserwerbs ist ChatGPT schließlich eine neue Generation der „Wissensdarstellungs- und Aufrufmethode“.

In der Anfangszeit wurde Wissen strukturiert in Datenbanken gespeichert. Wir bekommen es über SQL.

Später, mit der Geburt des Internets, wurde mehr unstrukturiertes Wissen wie Texte, Bilder und Videos im Internet gespeichert. Wir bekommen es über Suchmaschinen.

Jetzt wird Wissen in Form von Parametern im großen Modell gespeichert. Wir berufen uns direkt auf dieses Wissen mithilfe natürlicher Sprache.

Das obige ist der detaillierte Inhalt vonWas ist ChatGPT? Wofür stehen G, P und T?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!