Der wahre Held hinter ChatGPT: der Vertrauensvorschuss von OpenAI-Chefwissenschaftler Ilya Sutskever

Die Entstehung von ChatGPT hat viel Aufmerksamkeit erregt, aber wir sollten das unbekannte Genie dahinter nicht vergessen. Ilya Sutskever ist Mitbegründer und Chefwissenschaftler von OpenAI. Unter seiner Führung erzielte OpenAI bedeutende Fortschritte bei der Entwicklung modernster Technologien und der Weiterentwicklung des Bereichs der künstlichen Intelligenz.

In diesem Artikel werden wir untersuchen, wie Sutskever in zwanzig Jahren von einem jungen Forscher zu einer der führenden Persönlichkeiten auf dem Gebiet der künstlichen Intelligenz wurde. Egal, ob Sie ein KI-Enthusiast, ein Forscher oder einfach jemand sind, der sich für die Funktionsweise dieses Bereichs interessiert, dieser Artikel bietet wertvolle Perspektiven und Informationen.

Dieser Artikel folgt der folgenden Zeitleiste:

2003: Ilya Sutskevers Ausbildungsreise

2011: Erste Einführung in AGI

2012: Die Revolution der Bilderkennung

2013: Auktion von DNNresearch an Google

2014: Sprache Die Revolution der Übersetzung

2015: Von Google zu OpenAI: Ein neues Kapitel der künstlichen Intelligenz

2018: GPT 1, 2 und 3

2021: Entwicklung von DALL-E 1

2022: ChatGPT der Welt vorstellen

Ilya Sutskever​

Mitbegründer und Chefwissenschaftler von OpenAI, schloss 2005 sein Studium an der University of Toronto ab und promovierte 2012 in Informatik. Von 2012 bis heute arbeitete er an der Stanford University, DNNResearch und Google Brain und führte Forschungen zu maschinellem Lernen und Deep Learning durch. 2015 gab er seine hochbezahlte Position bei Google auf und gründete gemeinsam mit Greg Brockman OpenAI und andere, die die Entwicklung von OpenAI leiteten, entwickelten Modelle der Serien GPT-1, 2, 3 und DALLE. Im Jahr 2022 wurde er zum Fellow der Royal Society of Science gewählt. Er ist ein Pionier auf dem Gebiet der künstlichen Intelligenz, der die aktuelle Landschaft der künstlichen Intelligenz maßgeblich mitgeprägt hat und weiterhin die Grenzen dessen verschiebt, was mit maschinellem Lernen möglich ist. Seine Leidenschaft für künstliche Intelligenz hat seine bahnbrechende Forschung geprägt, die die Entwicklung der Bereiche Deep Learning und maschinelles Lernen geprägt hat.

2003: Erste Eindrücke von Ilya Sutskever

Sutskever: Ich verstehe nicht, Hinton: Warum verstehe ich nicht, Sutskever: Menschen trainieren neuronale Netze, um Probleme zu lösen, wenn Menschen verschiedene Probleme lösen möchten. Wenn es soweit ist, müssen Sie das Training mit einem anderen neuronalen Netzwerk neu starten. Aber ich denke, die Menschen sollten ein neuronales Netzwerk haben, das alle Probleme lösen kann.

Als Student an der University of Toronto wollte Sutskever dem Deep-Learning-Labor von Professor Geoffrey Hinton beitreten. Also klopfte er eines Tages an die Tür von Professor Hintons Büro und fragte, ob er ins Labor gehen dürfe. Der Professor bat ihn, im Voraus einen Termin zu vereinbaren, aber Sutskever wollte keine weitere Zeit verlieren, also fragte er sofort: „Wie wäre es jetzt?“

Hinton erkannte, dass Sutskever ein begeisterter Student war, also gab er nach ihm zwei Papiere zum Lesen. Eine Woche später kehrte Sutskever in das Büro des Professors zurück und sagte ihm, er verstünde es nicht.

„Warum verstehst du das nicht?“ fragte der Professor.

Sutskever erklärte: „Menschen trainieren neuronale Netze, um Probleme zu lösen, und wenn sie ein anderes Problem lösen wollen, müssen sie mit einem anderen neuronalen Netz von vorne beginnen. Aber ich denke, die Menschen sollten eines haben, das alle Probleme lösen kann.“ . Neuronale Netze. „

Diese Passage demonstrierte Sutskevers einzigartige Fähigkeit, Schlussfolgerungen zu ziehen, für die selbst erfahrene Forscher Jahre brauchen würden, und Hinton lud ihn ein. Ich hoffe, er tritt seinem Labor bei.

2011: Erste Einführung in AGI

Sutskever: Ich bin mit dieser Idee (AGI) nicht einverstanden

Als Sutskever noch an der University of Toronto war, flog er nach London, um einen Job bei DeepMind zu finden. Dort traf er Demis Hassabis und Shane Legg (Mitbegründer von DeepMind), die AGI (Artificial General Intelligence) bauten. AGI ist eine allgemeine künstliche Intelligenz, die wie Menschen denken und argumentieren und verschiedene Aufgaben im Zusammenhang mit menschlicher Intelligenz erledigen kann, wie zum Beispiel das Verstehen natürlicher Sprache, das Lernen aus Erfahrungen, das Treffen von Entscheidungen und das Lösen von Problemen.

Zu dieser Zeit war AGI nichts, worüber ernsthafte Forscher sprachen. Auch Sutskever hatte das Gefühl, den Bezug zur Realität verloren zu haben, also lehnte er den Job ab, ging zurück aufs College und kam schließlich 2013 zu Google. #? ein einzigartiges Auge und glaubte an tiefes Lernen, während andere dies nicht taten. Und er ist fest davon überzeugt, dass ein Erfolg im ImageNet-Wettbewerb diese Debatte ein für alle Mal beilegen wird.

ImageNet-Wettbewerb: Das Stanford University Laboratory veranstaltet jedes Jahr den ImageNet-Wettbewerb. Sie stellen den Teilnehmern eine umfangreiche Datenbank mit sorgfältig beschrifteten Fotos zur Verfügung, und Forscher aus der ganzen Welt treten gegeneinander an, um ein System zu entwickeln, das die meisten Bilder erkennen kann.

Zwei Schüler aus Hinton, Ilya Sutskever und Alex Krizhevsky, nahmen an diesem Spiel teil.

Sie brachen das traditionelle manuelle Entwurfsschema, führten ein tiefes neuronales Netzwerk ein und durchbrachen die Genauigkeitsmarke von 75 %.

Sie gewannen also den ImageNet-Wettbewerb und ihr System wurde später AlexNet genannt.

Seitdem hat der Bereich der Bilderkennung ein neues Gesicht bekommen.

Später veröffentlichten Sutskever, Krizhevsky und Hinton einen Artikel auf AlexNet, der mit insgesamt mehr als 60.000 Zitierungen zu einem der am häufigsten zitierten Artikel in der Informatik wurde von anderen Forschern. #🎜🎜 ##### 🎜🎜 ## 🎜🎜#2013: Auktion dnnresearch an Google#🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ##🎜 🎜## 🎜🎜#Sutskever&Krizhevsky: Sie verdienen einen größeren Prozentsatz Ihrer Dividenden. Hinton: Du teilst zu viel von meinem Geld. Sutskever&Krizhevsky: Aber wir haben uns bereits entschieden, Ihnen den Löwenanteil zu geben. Hinton: Es spricht ihren Charakter an. Hinton gründete zusammen mit Sutskever und Krizhevsky ein neues Unternehmen namens DNNresearch. Sie haben keine Produkte und haben auch nicht vor, in Zukunft welche zu bauen. Hinton fragte den Anwalt, wie er den Wert seines neuen Unternehmens maximieren könne, obwohl es derzeit nur drei Mitarbeiter, keine Produkte und kein Fundament hat. Eine der Optionen, die ihm der Anwalt gab, war die Durchführung einer Auktion. An der Übernahme waren vier Unternehmen beteiligt: ​​Baidu, Google, Microsoft und DeepMind (damals ein junges Londoner Startup). Als erstes schied DeepMind aus, gefolgt von Microsoft, und schließlich blieben nur noch Baidu und Google im Wettbewerb.

Eines Nachts kurz vor Mitternacht lag der Auktionspreis bei 44 Millionen US-Dollar, und Hinton unterbrach das Bieten und ging schlafen. Am nächsten Tag gab er bekannt, dass die Auktion beendet sei und verkaufte sein Unternehmen für 44 Millionen US-Dollar an Google, da er beschloss, dass es wichtiger sei, das richtige Zuhause für seine Forschung zu finden.

An diesem Punkt stellt Hinton, wie seine Schüler, ihre Ideen über den finanziellen Gewinn.

Als es an der Zeit war, den Erlös aufzuteilen, bestanden Sutskever und Krizhevsky darauf, dass Hinton einen größeren Anteil (40 %) erhalten sollte, obwohl Hinton dies vorgeschlagen hatte Sie könnten genauso gut ein Nickerchen machen. Am nächsten Tag bestanden sie immer noch auf dieser Verteilungsmethode. Hinton kommentierte später: „Es spiegelt wider, wer sie als Menschen sind, nicht ich.“

Danach wurde Sutskever Forschungswissenschaftler bei Google Brain. Seine Ideen änderten sich noch mehr und begannen, sich allmählich an die Ideen des Gründers von DeepMind anzupassen. Er begann zu glauben, dass die Zukunft von AGI direkt vor ihm lag. Natürlich hatte Sutskever selbst nie Angst davor, seine Meinung angesichts neuer Informationen oder Erfahrungen zu ändern. Der Glaube an AGI erfordert schließlich einen Vertrauensvorschuss, Wie Sergey Levine (Sutskevers Kollege bei Google) über Sutskever sagte: „Er ist eine Person, die keine Angst davor hat, zu ‚glauben‘“

2014: Die Revolution in der Sprachübersetzung

Sutskever: Die richtige Schlussfolgerung ist, dass der Erfolg unvermeidlich ist, wenn man über einen sehr großen Datensatz und ein sehr großes neuronales Netzwerk verfügt. (Der Übersetzer mit der besten Leistung)

Nach der Übernahme von DNN Research stellte Google Sutskever als Forschungswissenschaftler bei Google Brain ein.

Während seiner Arbeit bei Google erfand Sutskever eine Variante eines neuronalen Netzwerks, das Englisch ins Französische übersetzen konnte. Er schlug „Sequence to Sequence Learning“ vor, das die Sequenzstruktur der Eingabe (z. B. eines englischen Satzes) erfasst und sie einer Ausgabe zuordnet, die ebenfalls eine Sequenzstruktur aufweist (z. B. einen französischen Satz).

Er sagte, die Forscher hätten nicht geglaubt, dass neuronale Netze übersetzen könnten, daher sei es eine große Überraschung gewesen, als sie es tatsächlich taten. Seine Erfindung schlug die leistungsstärksten Übersetzer und sorgte für ein großes Upgrade von Google Translate. Sprachübersetzung wird nie wieder dieselbe sein.

2015: Von Google zu OpenAI: Ein neues Kapitel in der künstlichen Intelligenz

Sam Altman und Greg Brockman brachten Sutskever und neun weitere Forscher zusammen, um auszuprobieren, ob es noch möglich ist, mit dem Feld zu arbeiten Die besten Köpfe bilden ein Forschungslabor. Als es an der Zeit war, das Labor zu besprechen, aus dem OpenAI werden sollte, wurde Sutskever klar, dass er eine Gruppe von Gleichgesinnten gefunden hatte, die seine Überzeugungen und Wünsche teilten.

Brockman lud diese 10 Forscher in sein Labor ein und gab ihnen drei Wochen Zeit, sich zu entscheiden. Als Google davon erfuhr, boten sie Sutskever einen beträchtlichen Geldbetrag an, um sich ihnen anzuschließen. Nach der Ablehnung erhöhte Google sein Gehalt im ersten Jahr auf fast 2 Millionen US-Dollar, was dem Zwei- oder Dreifachen dessen entsprach, was OpenAI ihm zahlte.

Aber Sutskever lehnte ein Jobangebot im Wert von mehreren Millionen Dollar bei Google glücklich ab und wurde schließlich Mitbegründer der gemeinnützigen OpenAI.

Das Ziel von OpenAI ist es, künstliche Intelligenz zum Nutzen der gesamten Menschheit einzusetzen und künstliche Intelligenz auf verantwortungsvolle Weise voranzutreiben.

2018: Entwicklung von GPT 1, 2 und 3

Sutskever veranlasste OpenAI, GPT-1 zu erfinden, das anschließend zu GPT-2, GPT-3 und ChatGPT weiterentwickelt wurde.

Das GPT-Modell (Generative Pre-trained Transformer) ist eine Reihe von Sprachmodellen, die auf neuronalen Netzen basieren. Jede Aktualisierung des GPT-Modells ist ein Durchbruch auf dem Gebiet der Verarbeitung natürlicher Sprache.

• GPT-1 (2018) : Dies ist das erste Modell der Serie, das anhand eines großen Internet-Textdatensatzes trainiert wurde. Eine der wichtigsten Neuerungen ist die Verwendung eines unbeaufsichtigten Vortrainings, bei dem das Modell lernt, Wörter in einem Satz basierend auf dem Kontext vorhergehender Wörter vorherzusagen. Dadurch kann das Modell Sprachstrukturen erlernen und menschenähnlichen Text generieren.
• GPT-2 (2019) : Aufbauend auf dem Erfolg von GPT-1 wurde es anhand eines größeren Datensatzes trainiert, was zu einem leistungsfähigeren Modell führte. Einer der größten Fortschritte von GPT-2 ist seine Fähigkeit, kohärente und flüssige Textpassagen zu einem breiten Themenspektrum zu generieren, was es zu einem wichtigen Akteur bei unbeaufsichtigten Sprachverständnis- und Generierungsaufgaben macht. ​
• GPT-3 (2020) : GPT-3 ist ein erheblicher Fortschritt in Bezug auf Umfang und Leistung. Es wurde anhand eines riesigen Datensatzes mit 175 Milliarden Parametern trainiert, viel größer als bei früheren Modellen. GPT-3 erreicht modernste Leistung bei einer Vielzahl von Sprachaufgaben, wie etwa der Beantwortung von Fragen, maschineller Übersetzung und Zusammenfassung, mit nahezu menschlichen Fähigkeiten. Es zeigt auch die Fähigkeit, einfache Codierungsaufgaben auszuführen, zusammenhängende Nachrichtenartikel zu schreiben und sogar Gedichte zu verfassen.
• GPT-4: wird voraussichtlich bald erscheinen, voraussichtlich im Jahr 2023.

2021: Entwicklung von DALL-E 1

Sutskever leitete OpenAI auch bei der Erfindung von DALL-E 1, einem KI-gesteuerten Bilderzeugungsmodell. Es verwendet eine ähnliche Architektur und einen ähnlichen Trainingsprozess wie das GPT-Modell, wird jedoch auf die Generierung von Bildern anstelle von Text angewendet.

Viele der heutigen großen Bildgeneratoren – DALL-E 2, MidJourney – verdanken ihre Existenz DALL-E 1, da sie auf der gleichen Transformatorarchitektur basieren und auf ähnlichen Bilddatensätzen und zugehörigen Textbeschreibungen arbeiten. Schulung durchführen. Darüber hinaus basieren sowohl DALL-E 2 als auch MidJourney auf dem Feinabstimmungsprozess von DALL-E 1.

2022: ChatGPT der Welt vorstellen

Am 30. November 2022 half Sutskever beim Start von ChatGPT, das große öffentliche Aufmerksamkeit erregte und in nur 5 Tagen auf 1 Million Nutzer anwuchs.

ChatGPT funktioniert, indem es ein tiefes neuronales Netzwerk vorab anhand eines großen Textdatensatzes trainiert und es dann auf eine bestimmte Aufgabe abstimmt, z. B. das Beantworten von Fragen oder das Generieren von Text. Es handelt sich um ein Konversationssystem für künstliche Intelligenz, das auf dem GPT-3-Sprachmodell basiert.

Den Kontext eines Gesprächs zu verstehen und entsprechende Antworten zu generieren, ist eine der Hauptfunktionen von ChatGPT. Der Bot merkt sich Ihre Konversationsthreads und gibt Folgeantworten auf der Grundlage früherer Fragen und Antworten. Im Gegensatz zu anderen Chatbots, die oft auf vorprogrammierte Reaktionen beschränkt sind, kann ChatGPT Reaktionen innerhalb der App generieren und so dynamischere und vielfältigere Gespräche führen.

Elon Musk ist einer der Gründer von OpenAI. Er sagte: „ChatGPT ist erschreckend gut. Wir sind nicht weit von gefährlich mächtiger künstlicher Intelligenz entfernt.“

Endnoten

Ilya Sutskevers Leidenschaft für künstliche Intelligenz trieb seine bahnbrechende Forschung voran, die den Kurs des Fachgebiets veränderte. Seine Arbeit im Bereich Deep Learning und maschinelles Lernen hat maßgeblich dazu beigetragen, den Stand der Technik voranzutreiben und die zukünftige Ausrichtung des Fachgebiets zu gestalten.

Wir haben auch aus erster Hand die Auswirkungen von Sutskevers Arbeit auf dem Gebiet der künstlichen Intelligenz miterlebt. Er hat den Kurs des Fachgebiets verändert und wird in dieser Richtung weiterarbeiten. Trotz vieler materieller Versuchungen entschied sich Sutskever, seiner Leidenschaft nachzugehen und sich auf seine Forschung zu konzentrieren. Sein Engagement für seine Arbeit ist beispielhaft für jeden Forscher. #???? auf unserer Welt. Offensichtlich ist dies erst der Anfang.

Das obige ist der detaillierte Inhalt vonDer wahre Held hinter ChatGPT: der Vertrauensvorschuss von OpenAI-Chefwissenschaftler Ilya Sutskever. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!