OpenAI veröffentlicht GPT-4. Welche Technologietrends sollten beachtet werden?

Dieser Artikel ist die Antwort von Zhang Junlin, Leiter der Forschung und Entwicklung neuer Technologien bei Sina Weibo und Direktor der Chinesischen Informationsgesellschaft Chinas, auf die Zhihu-Frage „OpenAI veröffentlicht GPT-4, was sind die technischen Optimierungen oder Durchbrüche?“ „Es fasst zusammen, was im technischen GPT4-Bericht zu den drei Richtungen hervorgehoben wurde, zwei weitere technische Richtungen wurden ebenfalls erwähnt.

Beantworten Sie in diesem historischen Moment eine Frage und hinterlassen Sie Ihre eigenen Fußspuren als Zeugen der Geschichte.

Der technische Bericht von GPT4 hat drei neue Richtungen klar aufgezeigt:

Erstens die Schließung oder der kleine Kreis der modernsten Forschung im LLM. Im technischen Bericht heißt es, dass aus Wettbewerbs- und Sicherheitsgründen technische Details wie die Modellgröße nicht bekannt gegeben würden. Von der Open-Source-Version von GPT 2.0 bis zu GPT 3.0 gab es nur Papiere, zu ChatGPT gab es keine Papiere, und bis GPT 4.0 ähnelten die technischen Berichte eher Leistungsbewertungsberichten. Ein offensichtlicher Trend besteht darin, dass OpenAI seinen Namen als CloseAI gefestigt hat und OpenAI keine Artikel mehr über seine hochmoderne LLM-Forschung veröffentlichen wird.

In dieser Situation haben andere Unternehmen mit relativ fortschrittlicher Technologie zwei Möglichkeiten. Die eine besteht darin, ein extremeres Open-Source-LLM zu betreiben. Dies ist im Allgemeinen eine vernünftige Wahl für Unternehmen mit einem Wettbewerbsnachteil, aber die entsprechende Technologie ist oft nicht die modernste Eine andere Möglichkeit besteht darin, OpenAI weiterzuverfolgen und uns auch dafür zu entscheiden, die Technologie zu schließen. Google galt bisher als zweite Stufe des LLM. Aber unter dem kombinierten Schlag von „Microsoft + OpenAI“ ist die Situation jetzt etwas peinlich. GPT 4.0 wurde im August letzten Jahres fertiggestellt. Es wird geschätzt, dass GPT 5.0 derzeit verfeinert wird. Angesichts eines so langen Zeitfensters wird Google über einige sehr kritische Untersuchungen nachdenken CoT, die alle von selbst erledigt werden. Ich weiß nicht, was die leitenden Beamten denken, wenn sie herauskommen und so enden. Wenn Google später schnell nachziehen kann, sollte es kein großes Problem sein, auf dem zweiten Platz zu bleiben. In der Technologie dürfte es deutlich vor dem dritten Platz liegen. Aus Wettbewerbsgründen gehe ich davon aus, dass Google höchstwahrscheinlich dem Weg der technologischen Schließung von OpenAI folgen wird. Die fortschrittlichste LLM-Technologie wird zunächst dazu verwendet, sein eigenes Elixier zu verfeinern, anstatt ein Papier zu schreiben und es zum Nutzen der Öffentlichkeit, insbesondere von OpenAI, zu veröffentlichen. Dies wird wahrscheinlich zum Abschluss der modernsten Forschung im Bereich LLM führen.

Von nun an wird China nach einer Weile unweigerlich gezwungen sein, in eine Situation unabhängiger Innovation einzutreten (es sollte schneller gehen, einen Rabatt von 60-30 % auf ChatGPT zu erreichen, und es wird geschätzt, dass es länger dauern wird, bis er erreicht ist). ). Wie wird die Zukunft aussehen, wenn man die verschiedenen häuslichen Situationen in den letzten drei Monaten betrachtet? Höchstwahrscheinlich nicht optimistisch. Natürlich ist dieses Level definitiv schwierig, aber ich kann nur denjenigen wünschen, die die Fähigkeit und Entschlossenheit haben, ihr Bestes zu geben.

Zweitens ist die im technischen GPT 4-Bericht erwähnte „Fähigkeitsvorhersage“ des LLM-Modells eine sehr wertvolle neue Forschungsrichtung (tatsächlich gibt es bereits einige andere Materialien, ich erinnere mich, sie gelesen zu haben, aber welches ist spezifisch ? Kann mich nicht an das Kapitel erinnern). Verwenden Sie ein kleines Modell, um eine bestimmte Fähigkeit eines großen Modells unter bestimmten Parameterkombinationen vorherzusagen. Wenn die Vorhersage genau genug ist, kann sie den Elixier-Verfeinerungszyklus erheblich verkürzen und die Kosten für Versuch und Irrtum erheblich reduzieren Praktischer Wert, das ist definitiv Es lohnt sich, die spezifischen technischen Methoden sorgfältig zu studieren.

Drittens hat GPT 4 ein Open-Source-LLM-Bewertungsframework bereitgestellt, das auch eine sehr wichtige Richtung für die spätere schnelle Entwicklung der LLM-Technologie darstellt. Insbesondere für Chinesen ist es von besonderer Bedeutung, praktische chinesische LLM-Bewertungsdaten und -Rahmen zu erstellen, um die aktuellen Mängel und Verbesserungsrichtungen von LLM schnell zu erkennen. Es ist jedoch offensichtlich, dass dieser Bereich von großer Bedeutung ist derzeit im Grunde leer. Dieser Ressourcenbedarf ist eigentlich nicht so hoch und für viele Organisationen geeignet, aber es ist tatsächlich harte Arbeit.

Zusätzlich zu den drei Richtungen, die im technischen Bericht zu GPT 4 klar dargelegt werden, werde ich zwei weitere technische Richtungen aufschreiben, da es in letzter Zeit viele Neuigkeiten in verschiedenen Aspekten von LLM gab.

Zuallererst hat die Stanford University kürzlich ​​Alpaca​​ basierend auf Metas 7B Open-Source-LLaMA gebaut, plus ​​Self Instruct​​​technologisch, was auch eine technische Herausforderung darstellt Richtung. Zusammenfassend kann diese Richtung als Richtung der „kostengünstigen Reproduktion von ChatGPT“ bezeichnet werden. Das sogenannte „Self Instruct“ besteht darin, bestimmte technische Mittel ohne manuelle Annotation zu übernehmen. Stattdessen wird Instruct aus der OpenAI-Schnittstelle extrahiert, was besser als „Destillieren“ bekannt ist ChatGPT fungiert als Lehrer und kommentiert Ihr Instruct-Ergebnis. Dadurch erreichen die Kosten für die Instruct-Markierung direkt den Benchmark von mehreren hundert Dollar, und der Zeitaufwand ist sogar noch kürzer. Darüber hinaus ist der Maßstab des Modells 7B nicht groß, sodass es als technischer Weg zur „Kostengünstigen Reproduktion von ChatGPT“ angesehen werden kann.

Ich schätze, dass viele Menschen in China diesen technischen Weg bereits eingeschlagen haben. Es besteht kein Zweifel, dass dies eine Abkürzung ist, aber die Verwendung von Abkürzungen hat Vor- und Nachteile, daher werde ich nicht auf Details eingehen. Im Zuge der Aufholjagd mit ChatGPT halte ich es persönlich für machbar und unterstützend, zunächst die Kosten zu senken und ChatGPT auf 70 bis 80 % zu reproduzieren. Schließlich haben die Armen ihre eigenen Spielweisen. Natürlich ist das Streben nach einer Verkleinerung des Modells ohne Einbußen bei der Wirkung sehr wertvoll, wenn es auf bodenständige Weise durchgeführt werden kann.

Darüber hinaus wird die verkörperte Intelligenz in der nächsten Phase zweifellos die wichtigste Forschungsrichtung des LLM sein. Der Vertreter in dieser Hinsicht ist das vor einiger Zeit von Google veröffentlichte ​​PaLM-E​​. Mit dem aktuellen GPT 4 können wir davon ausgehen, dass der Mensch ein Superhirn geschaffen hat, es aber dennoch in einem GPU-Cluster eingesperrt hat. Und dieses Superhirn braucht einen Körper, der sich mit der physischen Welt verbinden, kommunizieren und interagieren kann und echtes Feedback in der physischen Welt erhält, um zu lernen, in der realen Welt zu überleben, und um reales Feedback zu nutzen, wie z. B. Verstärkungslernen . Kommen Sie und lernen Sie die Fähigkeit, sich um die Welt zu bewegen. Dies wird in naher Zukunft definitiv die heißeste LLM-Forschungsrichtung sein.

Multimodales LLM verleiht GPT 4 seine Augen und Ohren, während verkörperte Intelligenz GPT 4 seinen Körper, seine Füße und Hände verleiht. GPT 4 hat einige Verbindungen zu Ihnen und mir, und basierend auf der leistungsstarken Lernfähigkeit von GPT 4 selbst wird erwartet, dass dieses Ding bald um uns herum erscheint.

Wenn man genau darüber nachdenkt, gibt es tatsächlich noch viele andere vielversprechende Richtungen. Meiner persönlichen Einschätzung nach werden die nächsten 5 bis 10 Jahre das goldene Jahrzehnt der schnellsten Entwicklung von AGI sein. Wenn wir am Zeitpunkt der nächsten 30 Jahre stehen und auf diese 10 Jahre zurückblicken, werden einige von uns sicherlich an den folgenden Vers denken: „Verstehe, aber es ist zu spät, sie machen die Sonne traurig auf dem Weg.“ , noch sanft in diese gute Nacht.“

Das obige ist der detaillierte Inhalt vonOpenAI veröffentlicht GPT-4. Welche Technologietrends sollten beachtet werden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!