Interview mit Sam Altman: GPT-4 hat mich nicht sonderlich überrascht, aber ChatGPT hat mich überrascht

ChatGPT und GPT-4 sind zweifellos die größten „Hot Hits“ in der Branche der künstlichen Intelligenz zu Beginn des Jahres 2023.

· Ich habe keine Ahnung, was Geschichtsbücher über die verschiedenen Versionen von GPT sagen werden. Aber wenn ich einen Schlüsselknoten herausgreifen muss, den ich bisher gesehen habe, denke ich, dass es immer noch ChatGPT ist. GPT-4 hat mich nicht allzu sehr überrascht, aber ChatGPT hat mich ein wenig überglücklich gemacht.

· Bis zu einem gewissen Grad verbessert das GPT-4-System die menschliche Intelligenz und kann auf eine Vielzahl von Szenarien angewendet werden.

· Die Benutzerfreundlichkeit eines Systems selbst ist manchmal wichtiger als die Fähigkeiten des zugrunde liegenden Modells.

· GPT-4 ist noch nicht bewusst und kann gute Programmierer nicht ersetzen. Eine wirklich bewusste künstliche Intelligenz sollte in der Lage sein, anderen zu sagen, dass sie bei Bewusstsein ist, ihren eigenen Schmerz und andere Emotionen auszudrücken, ihre eigene Situation zu verstehen, ein eigenes Gedächtnis zu haben und mit anderen zu interagieren.

· Künstliche Intelligenz wird die Lebensqualität des Menschen enorm verbessern. Wir können Krankheiten heilen, Wohlstand schaffen, Ressourcen erhöhen und Menschen glücklich machen ... Es scheint, dass Menschen nicht mehr arbeiten müssen, aber Menschen brauchen es immer noch Gesellschaftsstatus, das Bedürfnis nach Leidenschaft, das Bedürfnis zu schaffen, das Bedürfnis, seinen Wert zu spüren. Deshalb müssen wir nach dem Beginn des Zeitalters der künstlichen Intelligenz neue Jobs und Lebensstile finden und die enormen Verbesserungen nutzen, die neue Technologien mit sich bringen.

Sam Altman, einer der Gründer von OpenAI, ist derzeit Präsident von Y Combinator und CEO von OpenAI, einem amerikanischen Labor für künstliche Intelligenz. Leitete das Labor für künstliche Intelligenz OpenAI zur Entwicklung des Chatbot-Programms ChatGPT und wurde von den Medien als „Vater von ChatGPT“ bezeichnet.

(L bezieht sich auf Lex Fridman, S bezieht sich auf Sam Altman)

Wenn die Geschichte der KI auf Wikipedia geschrieben wird, ist ChatGPT immer noch der kritischste Knoten

Q1

L: Was ist GPT-4? Wie funktioniert es? Was ist das Erstaunlichste daran?

S: Rückblickend ist es immer noch ein sehr rudimentäres künstliches Intelligenzsystem. Die Arbeitseffizienz ist gering, es gibt einige kleinere Probleme und viele Dinge werden nicht zufriedenstellend erledigt. Dennoch zeigt es einen Weg nach vorne für wirklich wichtige Technologien in der Zukunft (auch wenn der Prozess Jahrzehnte dauern wird).

Q2​

L: Wird GPT-4 in 50 Jahren, wenn man auf frühe intelligente Systeme zurückblickt, ein wirklich großer Sprung nach vorne sein? Wenn Leute auf Wikipedia über die Geschichte der künstlichen Intelligenz schreiben, über welche Version von GPT werden sie dann schreiben?

S: Dieser Prozess des Fortschritts geht weiter und es ist schwierig, einen historischen Moment zu bestimmen. Ich habe keine Ahnung, was die Geschichtsbücher über die verschiedenen Versionen von GPT sagen werden. Aber wenn ich einen Schlüsselknoten herausgreifen müsste, den ich bisher gesehen habe, dann denke ich, dass es ChatGPT ist. Was bei ChatGPT wirklich wichtig ist, ist nicht das zugrunde liegende Modell selbst, sondern die Art und Weise, wie das zugrunde liegende Modell genutzt werden kann, was Verstärkungslernen basierend auf menschlichem Feedback (RLHF) und seine Schnittstelle beinhaltet.

Q3​

L: Wie sorgt RLHF dafür, dass ChatGPT eine so erstaunliche Leistung erbringt?

S: Wir haben diese Modelle anhand großer Textdatenmengen trainiert. Dabei lernten sie einiges über Low-Level-Darstellungen und konnten einige erstaunliche Dinge tun. Wenn wir dieses Basismodell jedoch unmittelbar nach Abschluss des Trainings verwenden, ist es zwar auf dem Testsatz gut leistungsfähig, aber nicht sehr einfach zu verwenden. Zu diesem Zweck haben wir RLHF implementiert, indem wir menschliches Feedback eingeführt haben. Die einfachste RLHF ist: Geben Sie dem Modell zwei Versionen der Ausgabe, lassen Sie es beurteilen, welche menschliche Bewerter bevorzugen, und geben Sie diese Informationen dann durch verstärkendes Lernen an das Modell zurück. RLHF ist überraschend effektiv. Wir können das Modell mit sehr wenigen Daten praktischer machen. Wir nutzen diese Technologie, um das Modell an den menschlichen Bedürfnissen auszurichten und es einfacher zu machen, korrekte Antworten zu geben, die für die Menschen hilfreich sind. Unabhängig von den zugrunde liegenden Modellfunktionen ist die Benutzerfreundlichkeit des Systems von entscheidender Bedeutung.

Q4

L: Wie verstehen Sie, dass wir durch den Einsatz der RLHF-Technologie nicht mehr so ​​viel menschliche Aufsicht benötigen?

S: Fairerweise muss man sagen, dass sich unsere Forschung zu diesem Teil im Vergleich zur ursprünglichen wissenschaftlichen Forschung zur Erstellung vorab trainierter großer Modelle noch in einem frühen Stadium befindet, aber dafür weniger Daten benötigt.

L: Forschung zur menschlichen Führung ist sehr interessant und wichtig. Wir nutzen diese Art von Forschung, um zu verstehen, wie wir Systeme nützlicher, intelligenter, ethischer und im Einklang mit den menschlichen Absichten machen können. Der Prozess der Einführung menschlichen Feedbacks ist ebenfalls wichtig.

Q5

L: Wie groß ist der Datensatz vor dem Training?

S: Wir haben hart mit unseren Partnern zusammengearbeitet, um diese Pre-Training-Daten aus verschiedenen Open-Source-Datenbanken im Internet abzurufen und einen riesigen Datensatz aufzubauen. Tatsächlich gibt es neben Reddit, Zeitungen und anderen Medien viele Inhalte auf der Welt, mit denen die meisten Menschen nicht rechnen. Das Bereinigen und Filtern von Daten ist schwieriger als das Sammeln.

Q6

L: Der Aufbau von ChatGPT erfordert die Lösung vieler Probleme, wie zum Beispiel: Design des Modellarchitekturmaßstabs, Datenauswahl, RLHF. Was ist so magisch daran, dass diese Teile zusammenkommen?

S: GPT-4 ist die Version, die wir tatsächlich im Endprodukt von ChatGPT eingeführt haben, und die Anzahl der für die Erstellung erforderlichen Teile ist schwer zu wissen und es ist eine Menge Arbeit. In jeder frühen Phase müssen wir neue Ideen entwickeln oder bestehende gut umsetzen.

L: Einige technische Schritte in GPT-4 sind relativ ausgereift, beispielsweise die Vorhersage der Leistung, die das Modell erreichen wird, bevor das vollständige Trainingsmodell abgeschlossen ist. Wie können wir die besonderen Eigenschaften eines vollständig trainierten Systems anhand eines kleinen Trainingsumfangs erkennen? Es ist, als würde man ein einjähriges Baby anschauen und wissen, wie viele Punkte es bei der Aufnahmeprüfung für das College erreicht hat.

S: Diese Leistung ist erstaunlich. Sie beinhaltet viele wissenschaftliche Faktoren und erreicht letztendlich das von Menschen erwartete Intelligenzniveau. Dieser Implementierungsprozess ist viel wissenschaftlicher, als ich es mir vorstellen kann. Wie in allen neuen Zweigen der Wissenschaft werden wir neue Dinge finden, die nicht zu den Daten passen, und bessere Erklärungen dafür finden. So entwickelt sich die Wissenschaft. Obwohl wir einige Informationen über GPT-4 in den sozialen Medien veröffentlicht haben, sollten wir dennoch von seiner Magie beeindruckt sein.

GPT-4 steigert systematisch die menschliche Intelligenz

Q7

L: Diese Art von Sprachmodell kann Materialien aus verschiedenen Bereichen lernen oder darauf verweisen. Erlangen die Forscher und Ingenieure von OpenAI ein tieferes Verständnis für die Wunder von Sprachmodellen?

S: Wir können das Modell auf verschiedene Arten bewerten und es nach dem Training auf verschiedene Aufgaben testen. Wir haben auch den Testprozess des Modells auf Github geöffnet, was sehr hilfreich ist. Wichtig ist, dass wir viel Arbeitskraft, finanzielle Ressourcen und Zeit aufwenden, um die Praktikabilität des Modells zu analysieren, wie das Modell den Menschen Glück und Hilfe bringen kann, wie wir eine bessere Welt schaffen und neue Produkte und Dienstleistungen entwickeln können. Natürlich verstehen wir noch nicht alle internen Prozesse, mit denen das Modell seine Aufgaben erfüllt, aber wir werden weiter daran arbeiten.

Q8

L: GPT-4 komprimiert die riesigen Informationsmengen im Internet im Black-Box-Modell auf „relativ wenige“ Parameter und bildet so menschliche Weisheit. Welche Art von Sprung braucht es von der Tatsache zur Weisheit?

S: Wir verwenden das Modell als Datenbank, um menschliches Wissen zu absorbieren, anstatt es als Inferenzmaschine zu verwenden, und die Verarbeitungsleistung des Systems wird auf magische Weise verbessert. Auf diese Weise kann das System tatsächlich ein gewisses Maß an Argumentation erreichen, obwohl einige Wissenschaftler möglicherweise der Meinung sind, dass diese Aussage nicht streng ist. Das GPT-4-System verbessert bis zu einem gewissen Grad die menschliche Intelligenz und kann auf eine Vielzahl von Szenarien angewendet werden.

L: ChatGPT scheint in seiner kontinuierlichen Interaktion mit Menschen über Intelligenz zu „besitzen“. Es gibt seine falschen Annahmen zu und weist unangemessene Anfragen auf diese Art und Weise zurück.

GPT-4 ist nicht bewusst und wird gute Programmierer nicht ersetzen

Q9

L: Manchen Leuten macht das Programmieren mit GPT Spaß, und manche haben Angst, dass ihr Job durch GPT ersetzt wird. Was halten Sie von diesem Phänomen?

S: Es gibt einige kritische Programmierjobs, die immer noch ein menschliches kreatives Element erfordern. GPT-ähnliche Modelle automatisieren einige Programmieraufgaben, können einen guten Programmierer jedoch immer noch nicht ersetzen. Einige Programmierer werden sich über die Ungewissheit der Zukunft Sorgen machen, aber mehr Menschen werden das Gefühl haben, dass dies ihre Arbeitseffizienz verbessert.

Vor zwanzig oder dreißig Jahren, als „Deep Blue“ den Schachmeister Kasparov besiegte, dachten einige Leute, es sei nicht nötig, weiter Schach zu spielen. Aber Schach ist auf der ganzen Welt immer noch beliebt.

Künstliche Intelligenz wird die Lebensqualität des Menschen enorm verbessern. Wir können Krankheiten heilen, Wohlstand schaffen, Ressourcen erhöhen und Menschen glücklich machen ... Es scheint, dass Menschen nicht arbeiten müssen, aber Menschen brauchen trotzdem sozialen Status. brauchen Leidenschaft, müssen etwas schaffen, müssen ihren eigenen Wert spüren. Deshalb müssen wir nach dem Beginn des Zeitalters der künstlichen Intelligenz neue Jobs und Lebensstile finden und die enormen Verbesserungen nutzen, die neue Technologien mit sich bringen.

Q10

L: Eliezer Yudkowsky warnt davor, dass künstliche Intelligenz Menschen schaden kann, und nennt Beispiele dafür, wie es nahezu unmöglich sein wird, superkünstliche Intelligenz mit den Absichten des Menschen in Einklang zu bringen. Stimmen Sie ihm zu?

S: Es ist möglich. Wenn wir nicht über diese potenzielle Möglichkeit sprechen, werden wir nicht genügend Anstrengungen unternehmen, um neue Technologien zur Lösung solcher Probleme zu entwickeln. Solche Probleme gibt es in vielen aufstrebenden Bereichen, und mittlerweile machen sich die Menschen Sorgen um die Leistungsfähigkeit und Sicherheit künstlicher Intelligenz. Elizers Artikel ist gut geschrieben, aber es ist schwierig, einigen seiner Arbeiten zu folgen, es gibt einige logische Probleme und ich unterstütze seine Ansichten nicht vollständig.

Es wurde viel an der KI-Sicherheit gearbeitet, lange bevor die Menschen an die Leistungsfähigkeit von Deep Learning und großen Sprachmodellen glaubten, und ich glaube nicht, dass es in diesem Bereich genügend Aktualisierungen gab. Theorie ist in der Tat wichtig, aber wir müssen ständig aus Veränderungen in der technologischen Entwicklung lernen und dieser Zyklus muss kompakter sein. Ich denke, jetzt ist ein guter Zeitpunkt, sich mit der KI-Sicherheit zu befassen und die „Ausrichtung“ dieser neuen Tools und Technologien auf die menschliche Absicht zu untersuchen.

Q11

L: Die Technologie der künstlichen Intelligenz entwickelt sich rasant. Einige Leute sagen, dass wir jetzt in der „Startphase“ der künstlichen Intelligenz angekommen sind. Wenn jemand tatsächlich allgemeine künstliche Intelligenz aufbaut, wie erfahren wir dann von dieser Änderung?

S: GPT-4 hat mich nicht allzu sehr überrascht, aber ChatGPT hat mich leicht überrascht. So beeindruckend GPT-4 auch ist, AGI ist es noch nicht. Die wahre Definition von AGI wird immer wichtiger, aber ich denke, sie ist noch sehr weit entfernt.

Q12

L: Glauben Sie, dass GPT-4 bei Bewusstsein ist?

S: Nein, ich glaube nicht, dass es noch bei Bewusstsein ist.

L: Ich denke, eine wirklich bewusste künstliche Intelligenz sollte in der Lage sein, anderen zu sagen, dass sie bei Bewusstsein ist, ihren eigenen Schmerz und andere Emotionen auszudrücken, ihre eigene Situation zu verstehen, ein eigenes Gedächtnis zu haben und in der Lage sein, mit Menschen zu interagieren. Und ich denke, dass es sich bei diesen Fähigkeiten um Schnittstellenfähigkeiten handelt, nicht um zugrunde liegendes Wissen.

S: Unser Chefwissenschaftler bei OpenAI, Ilya Sutskever, hat einmal mit mir darüber gesprochen: „Wie erkennt man, ob ein Modell bei Bewusstsein ist?“ Er glaubt, dass wir, wenn wir ein Modell sorgfältig anhand eines Datensatzes trainieren, ohne die subjektive Bewusstseinserfahrung oder verwandte Konzepte zu erwähnen, diese subjektive Bewusstseinserfahrung dem Modell beschreiben und prüfen, ob das Modell die von uns übermittelten Informationen verstehen kann.

Allgemeine künstliche Intelligenz, wo sind wir geblieben?

Q13

L: Chomsky und andere kritisieren die Fähigkeit „großer Sprachmodelle“, allgemeine künstliche Intelligenz zu erreichen. Was denken Sie darüber? Sind große Sprachmodelle der richtige Weg zur allgemeinen künstlichen Intelligenz?

S: Ich denke, große Sprachmodelle sind Teil des Weges zu AGI, und wir brauchen auch andere sehr wichtige Teile.

L: Glauben Sie, dass ein intelligenter Agent einen „Körper“ braucht, um die Welt zu erleben?

S: Da bin ich vorsichtig. Aber meiner Meinung nach kann ein System, das sich nicht gut in bekannte wissenschaftliche Erkenntnisse integrieren lässt, nicht als „Superintelligenz“ bezeichnet werden. Um „Superintelligenz“ zu erreichen, müssen wir das Paradigma der GPT-Klasse weiter ausbauen, und es ist noch ein langer Weg.

L: Ich denke, dass durch die Änderung der Daten, die zum GPT-Training verwendet werden, bereits verschiedene große wissenschaftliche Durchbrüche erzielt werden können.

Q14

L: Da die Impulskette immer länger wird, werden diese Interaktionen selbst Teil der menschlichen Gesellschaft und bauen aufeinander auf. Wie sehen Sie dieses Phänomen?

S: Was mich im Vergleich zu der Tatsache, dass das GPT-System bestimmte Aufgaben erledigen kann, mehr begeistert, ist, dass Menschen an der Feedbackschleife dieses Tools teilnehmen und wir mehr aus den Verläufen mehrerer Interaktionsrunden lernen können. KI wird die menschlichen Absichten und Fähigkeiten erweitern und verstärken, was auch die Art und Weise beeinflussen wird, wie Menschen sie nutzen. Wir werden vielleicht nie AGI entwickeln, aber die Verbesserung der Menschen ist an sich schon ein großer Sieg.

Das obige ist der detaillierte Inhalt vonInterview mit Sam Altman: GPT-4 hat mich nicht sonderlich überrascht, aber ChatGPT hat mich überrascht. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!