ChatGPT-Sonderthema: Die Fähigkeiten und die Zukunft großer Sprachmodelle

1. Kommerzialisierung generativer Modelle

Heutzutage ist der Bereich generative KI angesagt. Laut PitchBook-Statistik wird der generative KI-Track im Jahr 2022 insgesamt rund 1,4 Milliarden US-Dollar an Finanzmitteln erhalten und damit fast die Gesamtsumme der vergangenen fünf Jahre erreichen. Starunternehmen wie OpenAI und Stability AI sowie andere Start-ups wie Jasper, Regie.AI, Replika usw. haben allesamt Kapitalvorteile erhalten.

Grafik des Zusammenhangs zwischen Finanzierungsbetrag und -zeit

Im Oktober 2022 erhielt Stability AI eine Finanzierung in Höhe von rund 100 Millionen US-Dollar und veröffentlichte das Open-Source-Modell Stable Diffusion, das Bilder basierend auf von Benutzern eingegebenen Textbeschreibungen generieren kann. Sprengung des Feldes der KI-Malerei. Am 30. November 2022, nachdem ChatGPT seine öffentliche Betaversion angekündigt hatte, überstieg die Zahl der weltweiten Nutzer fünf Tage nach deren Online-Schaltung eine Million. In weniger als 40 Tagen seit seiner Einführung hat die Zahl der täglich aktiven Nutzer die Marke von 10 Millionen überschritten. Am frühen Morgen des 15. März 2023 veröffentlichte OpenAI das derzeit stärkste GPT-Serienmodell GPT-4, das ein groß angelegtes multimodales Modell bereitstellt, das Bild- und Texteingaben akzeptieren und Textausgaben erzeugen kann, was störende Auswirkungen hat in der Branche. Am 17. März 2023 veranstaltete Microsoft die Microsoft 365 Copilot-Konferenz, installierte offiziell das GPT-4-Modell von OpenAI in der Office-Suite und brachte die neue KI-Funktion Copilot auf den Markt. Es kann nicht nur PPT erstellen und Kopien schreiben, sondern auch Analysen durchführen und Videos erstellen. Darüber hinaus haben verschiedene große inländische Hersteller die Einführung von ChatGPT-ähnlichen Produkten angekündigt. Am 8. Februar verbreiteten Alibaba-Experten die Nachricht, dass die Damo Academy einen ChatGPT-ähnlichen Gesprächsroboter entwickelt und ihn den Mitarbeitern des Unternehmens zum Testen zugänglich gemacht hat. Es ist möglich, die KI-Großmodelltechnologie intensiv mit den DingTalk-Produktivitätstools zu kombinieren. Am 8. Februar sagte He Xiaodong, Vizepräsident von JD.com, offen: „JD.com verfügt über umfangreiche Szenarien und hochwertige Daten im Bereich ChatGPT.“ Am 9. Februar sagte eine relevante Person von Tencent: Tencent hat derzeit auch Pläne für Produkte, die ChatGPT und KI-generierten Inhalten ähneln, und auch die Spezialforschung schreitet ordnungsgemäß voran. NetEase sagte, dass sein Bildungsgeschäft KI-generierte Inhalte integrieren wird, einschließlich, aber nicht beschränkt auf KI-sprechende Lehrer, Bewertung und Bewertung von Aufsätzen usw. Am 16. März veröffentlichte Baidu offiziell das große Sprachmodell und generative KI-Produkt „Wen Die Zahl der getesteten Unternehmen erreichte 90.000.

Derzeit sind große Models nach und nach in unser Leben eingedrungen. In Zukunft werden wahrscheinlich alle Lebensbereiche weltbewegende Veränderungen erfahren. Am Beispiel von ChatGPT umfasst es die folgenden Aspekte:

• ChatGPT+ Media: Es kann intelligentes Schreiben von Nachrichten ermöglichen und die Effektivität von Nachrichten verbessern.
• ChatGPT+ Film und Fernsehen: Passen Sie Film- und Fernsehinhalte basierend auf öffentlichen Interessen an und erzielen Sie höhere Ergebnisse Einschaltquoten senken und Einspielergebnisse und Mundpropaganda reduzieren. Das Film- und Fernsehproduktionsteam senkt die Kosten für die Erstellung von Inhalten und verbessert die kreative Effizienz.
• ChatGPT+ Marketing: Fungieren Sie als virtueller Kundenservice, um das Produktmarketing zu unterstützen. Beispielsweise können durch eine 24-Stunden-Produkteinführung und Online-Dienste die Marketingkosten gesenkt und die Kundenbedürfnisse schnell erfasst und mit den technologischen Trends Schritt gehalten werden.
• ChatGPT+Unterhaltung: Echtzeit-Chat-Objekte, die die Kameradschaft und den Spaß verbessern.
• ChatGPT+ Education: Bietet ein neues Bildungstool, um Lücken durch Self-Service-Fragen schnell zu überprüfen und zu schließen.
• ChatGPT+ Finance: Verwirklichen Sie Finanzinformationen, automatisieren Sie die Produktion von Finanzprodukten und erstellen Sie virtuelle Finanzberater.
• ChatGPT+Medical: Verstehen Sie schnell den Zustand des Patienten und geben Sie rechtzeitig Feedback, um sofortige emotionale Unterstützung zu leisten.

Es ist zu beachten, dass die Hauptdiskussion hier zwar die Implementierung großer Sprachmodelle ist, tatsächlich aber auch andere große Modelle in mehreren Modalitäten (Audio, Video, Bilder) breite Anwendungsszenarien haben.

2. Einführung in generative Modelle

1. Mainstream-Großsprachenmodell: LaMDA

veröffentlicht von Google. Das LaMDA-Modell basiert auf dem Transformer-Framework, verfügt über 137 Milliarden Modellparameter und ist in der Lage, Abhängigkeiten über große Entfernungen im Text zu modellieren. Das Modell wird durch Gespräche trainiert. Es umfasst hauptsächlich zwei Prozesse: Vortraining und Feinabstimmung: In der Vortrainingsphase verwendeten sie bis zu 1,56 Tonnen öffentliche Konversationsdatensätze und Webseitentexte und verwendeten das Sprachmodell (LM) als Zielfunktion des Trainings Das heißt, das Ziel besteht darin, das nächste Zeichen (Token) vorherzusagen. In der Feinabstimmungsphase entwarfen sie mehrere Aufgaben, wie z. B. die Bewertung von Antwortattributen (Sensibilität, Sicherheit usw.), um dem Sprachmodell seine menschlichen Präferenzen zu verleihen. Die folgende Abbildung zeigt eine Art von Feinabstimmungsaufgabe.

LaMDA-Modell-Vortrainingsphase

Eine der Aufgaben in der LaMDA-Modell-Feinabstimmungsphase

Das LaMDA-Modell konzentriert sich auf Dialoggenerierungsaufgaben, macht jedoch häufig sachliche Fehler. Google hat dieses Jahr Bard (einen experimentellen Konversations-KI-Dienst) veröffentlicht, der auf dem LaMDA-Modell basiert. Während Bards Pressekonferenz machte Bard jedoch sachliche Fehler, die dazu führten, dass der Aktienkurs von Google am Mittwoch einbrach und während der Sitzung um mehr als 8 % fiel. Er lag am Aktualisierungstag bei nur etwa 98 US-Dollar und sein Marktwert verflüchtigte sich um 110 Milliarden US-Dollar, was enttäuschend ist.

2. Mainstream-Modell für große Sprachen: InstructGPT

Das InstructGPT-Modell basiert auf der GPT-Architektur und wird hauptsächlich durch überwachte Feinabstimmung (Supervise Fune-Tuning, SFT) und menschliches Feedback-Verstärkungslernen (Reinforce Learning Human Fune-tuning) trainiert. RLHF). ChatGPT, ein von InstructGPT betriebenes Konversationsprodukt, konzentriert sich auf die Generierung von Sprachtexten und kann auch Code generieren und einfache mathematische Operationen ausführen. Die spezifischen technischen Details wurden in den beiden vorherigen Ausgaben ausführlich besprochen. Der Leser kann sie dort nachlesen und wird sie hier nicht wiederholen. „InstructGPT-Modell-Trainingsablaufdiagramm“ Cluade basiert wie ChatGPT auf dem GPT-Framework und ist ein einseitiges Sprachmodell. Im Gegensatz zu ChatGPT wird es jedoch hauptsächlich durch verstärkendes Lernen mit überwachter Feinabstimmung und KI-Feedback trainiert. In der überwachten Feinabstimmungsphase formuliert es zunächst eine Reihe von Regeln (Verfassung), wie zum Beispiel keine schädlichen Informationen, keine rassistischen Vorurteile usw., und erhält dann überwachte Daten auf der Grundlage dieser Regeln. Lassen Sie dann die KI die Qualität der Antworten beurteilen und den Datensatz automatisch für das verstärkende Lernen trainieren.

Im Vergleich zu ChatGPT kann Claude unangemessene Anfragen klarer zurückweisen und die Verbindungen zwischen Sätzen sind natürlicher. Claude ist bereit, sich zu äußern, wenn er mit einem Problem konfrontiert wird, das seine Fähigkeiten übersteigt. Derzeit befindet sich Claudede noch in der internen Testphase. Allerdings ist Claude laut den internen Testergebnissen der Teammitglieder von Scale Sepllbook im Vergleich zu ChatGPT in 8 der 12 getesteten Aufgaben stärker.

3. Fähigkeiten großer Sprachmodelle

Wir verfügen über Statistiken zu großen Sprachmodellen im In- und Ausland sowie zu Modellfähigkeiten, Open-Source-Status usw.

Beliebte große Sprachmodelle in China

Beliebte große Sprachmodelle im Ausland

Es ist ersichtlich, dass große Sprachmodelle über eine Vielzahl von Fähigkeiten verfügen, einschließlich, aber nicht beschränkt auf, Wenig-Schuss-Lernen und Null-Schuss Migration usw. warten. Da stellt sich ganz natürlich die Frage: Wie kommen diese Fähigkeiten zustande? Woher kommt die Leistungsfähigkeit großer Sprachmodelle? Als nächstes versuchen wir, die oben genannten Zweifel zu beantworten.

Die folgende Abbildung zeigt einige ausgereifte große Sprachmodelle und Evolutionsprozesse. Zusammenfassend lässt sich sagen, dass die meisten Modelle drei Phasen durchlaufen: Vortraining, Feinabstimmung der Anweisungen und Ausrichtung. Zu den repräsentativen Modellen gehören Sparrow von Deepmind und ChatGPT von OpenAI.

Evolutionsdiagramm beliebter großer Sprachmodelle

Welche Fähigkeiten kann das Modell also hinter jedem Schritt erreichen? Dr. Fu Yao von der Universität Edinburgh fasste zusammen, was seiner Meinung nach die entsprechende Beziehung zwischen Schritten und Fähigkeiten ist, und gab uns damit einige Inspiration.

1. Vortrainingsphase, das Ziel dieser Phase ist es, ein leistungsfähiges Basismodell zu erhalten. Dementsprechend umfassen die vom Modell in dieser Phase demonstrierten Fähigkeiten: Sprachgenerierung, Kontextlernfähigkeiten, Weltwissen, Argumentationsfähigkeiten usw. Zu den repräsentativen Modellen in dieser Phase gehören GPT-3, PaLM usw.

2. Feinabstimmungsphase der Anleitung. Das Ziel dieser Phase besteht darin, einige neue Fähigkeiten freizuschalten. Die Emergenzfähigkeit bezieht sich hier speziell auf die Fähigkeit, die kleine Modelle nicht haben, sondern nur große Modelle. Das Modell, das einer Feinabstimmung der Anweisungen unterzogen wurde, verfügt über Fähigkeiten, die das Basismodell nicht hat. Durch die Konstruktion neuer Anweisungen kann das Modell beispielsweise neue Aufgaben lösen. Ein weiteres Beispiel ist die Fähigkeit der Denkkette, d InstructGPT, Flan usw.

Ausrichtungsphase. Das Ziel dieser Phase besteht darin, dem Modell menschliche Werte zu verleihen, z. B. informative Antworten zu generieren und keine diskriminierenden Bemerkungen usw. zu machen. Man kann davon ausgehen, dass die Ausrichtungsphase den Modellen „Persönlichkeit“ verleiht. Das repräsentative Modell dieser Art ist ChatGPT.

Drei Stufen eines großen Sprachmodells. Das Bild stammt aus „Fu Yao: On the Source of the Ability of Large Language Models“

Generell ergänzen sich die oben genannten drei Phasen und sind unverzichtbar. Nur wenn in der Vortrainingsphase ein ausreichend leistungsfähiges Grundmodell erhalten wird, ist es möglich, andere Fähigkeiten des Sprachmodells durch Feinabstimmung des Unterrichts zu stimulieren (oder zu verbessern). Die Ausrichtungsphase verleiht dem Modell einen bestimmten „Charakter“, um einigen Anforderungen der menschlichen Gesellschaft besser gerecht zu werden.

4. Generative Modellidentifikation

Die Technologie großer Sprachmodelle bringt zwar Komfort mit sich, birgt aber auch Risiken und Herausforderungen. Auf technischer Ebene kann die Authentizität der von GPT generierten Inhalte, wie z. B. schädliche Sprache usw., nicht garantiert werden. Auf der Nutzungsebene können Benutzer KI-generierte Texte in Bereichen wie Bildung und wissenschaftlicher Forschung missbrauchen. Derzeit haben viele Unternehmen und Institutionen damit begonnen, die Nutzung von ChatGPT einzuschränken. Microsoft und Amazon verbieten Unternehmensmitarbeitern die Weitergabe sensibler Daten an ChatGPT, da Bedenken hinsichtlich der Weitergabe vertraulicher Informationen bestehen. Die Universität Hongkong verbietet die Verwendung von ChatGPT oder anderen Tools für künstliche Intelligenz in allen Kursen, Aufgaben und Bewertungen an der Universität Hongkong. Wir stellen hauptsächlich verwandte Arbeiten in der Industrie vor.

GPTZero: GPTZero ist das früheste Tool zur Textgenerierung und -identifizierung. Es handelt sich um eine Online-Website (https://gptzero.me/), die von Edward Tian (einem CS-Studenten aus Princeton, USA) veröffentlicht wurde. Sein Prinzip basiert auf der Textperplexität (PPL) als Indikator, um festzustellen, wer den gegebenen Inhalt geschrieben hat. Unter anderem wird Perplexität verwendet, um die Qualität des Sprachmodells zu bewerten, das im Wesentlichen die Wahrscheinlichkeit berechnet, mit der ein Satz erscheint.

GPTZero-Website-Schnittstelle

(Hier verwenden wir ChatGPT, um einen Nachrichtenbericht zu generieren und lassen GPTZero bestimmen, ob es sich um generierten Text handelt . )

GPT2 Output Detector: Dieses Tool wird von OpenAI veröffentlicht. Es nutzt die auf RoBerta optimierten „GPT2-Generated Content“- und Reddit-Datensätze, um einen Erkennungsklassifikator zu erlernen. Das heißt: „Magie mit Magie bekämpfen“. Die offizielle Website erinnert außerdem daran, dass die Vorhersageergebnisse nur dann glaubwürdiger sind, wenn der Text 50 Zeichen (Token) überschreitet.

GPT2 Output Detector-Website-Schnittstelle

AI Text Classifier: Dieses Tool wird von OpenAI veröffentlicht. Das Prinzip besteht darin, menschliche Schreibtexte und KI-Schreibtexte zum gleichen Thema zu sammeln. Teilen Sie jeden Text in Eingabeaufforderungs- und Antwortpaare auf und legen Sie als Ergebnisschwellenwert die Wahrscheinlichkeit fest, mit der GPT nach einer Feinabstimmung (z. B. Ja/Nein durch GPT) eine Antwort liefert. Die Klassifizierung des Tools ist sehr detailliert und die Ergebnisse umfassen 5 Kategorien: sehr unwahrscheinlich, dass es von KI generiert wird (Schwellenwert 0,98).

AI Text Classifier-Website-Schnittstelle

5. Zusammenfassung und Ausblick

Großes Sprachmodell hat Neue Fähigkeiten, über die kleine Modelle nicht verfügen, wie z. B. hervorragende Zero-Sample-Learning-, Domänenmigrations- und Denkkettenfunktionen. Die Leistungsfähigkeit großer Modelle beruht tatsächlich auf der Vorschulung, der Feinabstimmung der Anweisungen und der Ausrichtung. Diese drei Prozesse sind eng miteinander verbunden und haben die heutigen superleistungsfähigen großen Sprachmodelle ermöglicht.

Das große Sprachmodell (GPT-Serie) verfügt derzeit nicht über die Funktionen zur Konfidenzaktualisierung, zum formalen Denken, zum Internetabruf usw. Einige Experten glauben, dass die Anzahl der ausgelagerten Kenntnisse außerhalb des Modells zunimmt Nur große Sprachmodelle können wirklich einen Schritt weiter gehen.

Nur unter angemessener Aufsicht und Steuerung kann die Technologie der künstlichen Intelligenz den Menschen besser dienen. Bis zur Entwicklung großformatiger Modelle ist es in China noch ein weiter Weg!

Referenz

[1] https://stablediffusionweb.com

[2] https://openai.com/product/gpt - 4

[3] LaMDA: Sprachmodelle für Dialoganwendungen, Arxiv 2022.10

[4] Konstitutionelle KI: Harmlosigkeit durch KI-Feedback, Arxiv 2022.12

#🎜 🎜 #[5] https://scale.com/blog/chatgpt-vs-claude#Calculation

[6] Guolian Securities: „ChatGPT ist angekommen und die Kommerzialisierung beschleunigt sich“ #🎜 🎜## 🎜🎜#[7] Guotai Junan Securities: „ChatGPT Research Framework 2023“

[8] Fu Yao: Vorschulung, Feinabstimmung der Anleitung, Ausrichtung, Spezialisierung: Über die Quellen großer Sprachmodelle Fähigkeiten https://www.bilibili.com/video/BV1Qs4y1h7pn/?spm_id_from=333.880.my_history.page.click&vd_source=da8bf0b993cab65c4de0f26405823475

[9] Analyse eines 10.000 Wörter langen Artikels! Reproduzieren und verwenden Sie GPT-3/ChatGPT, was Sie wissen sollten https://mp.weixin.qq.com/s/ILpbRRNP10Ef1z3lb2CqmA

Das obige ist der detaillierte Inhalt vonChatGPT-Sonderthema: Die Fähigkeiten und die Zukunft großer Sprachmodelle. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!