Le véritable héros derrière ChatGPT : l’acte de foi du scientifique en chef d’OpenAI, Ilya Sutskever

L'émergence de ChatGPT a attiré beaucoup d'attention, mais il ne faut pas oublier le génie inconnu qui se cache derrière. Ilya Sutskever est le co-fondateur et scientifique en chef d'OpenAI. C'est sous sa direction qu'OpenAI a réalisé des progrès significatifs dans le développement de technologies de pointe et dans le domaine de l'intelligence artificielle.

Dans cet article, nous explorerons comment Sutskever est passé du statut de jeune chercheur à l'une des figures de proue du domaine de l'intelligence artificielle en vingt ans. Que vous soyez un passionné d'IA, un chercheur ou simplement quelqu'un curieux de connaître le fonctionnement interne de ce domaine, cet article vous fournira une perspective et des informations précieuses.

Cet article suit la chronologie suivante :

2003 : Le parcours d'apprentissage d'Ilya Sutskever

2011 : Première introduction à l'AGI

2012 : La révolution de la reconnaissance d'image

2013 : Vente aux enchères de DNNresearch à Google

2014 : Langage La révolution de la traduction

2015 : De Google à OpenAI : Un nouveau chapitre dans l'intelligence artificielle

2018 : GPT 1, 2 et 3

2021 : Développement de DALL-E 1

2022 : Dévoilement de ChatGPT au monde

Ilya Sutskever​

Co-fondateur et scientifique en chef d'OpenAI, diplômé de l'Université de Toronto en 2005 et titulaire d'un doctorat en CS en 2012. De 2012 à aujourd'hui, il a travaillé à l'Université de Stanford, DNNResearch et Google Brain, menant des recherches liées à l'apprentissage automatique et à l'apprentissage profond. En 2015, il a abandonné son poste bien rémunéré chez Google et a cofondé OpenAI avec Greg Brockman. et d'autres, dirigeant le développement d'OpenAI. Développement des modèles des séries GPT-1, 2, 3 et DALLE. En 2022, il a été élu membre de la Royal Society of Science. Il est un pionnier dans le domaine de l'intelligence artificielle qui a joué un rôle déterminant dans l'élaboration du paysage actuel de l'intelligence artificielle et continue de repousser les limites de ce qui est possible avec l'apprentissage automatique. Sa passion pour l'intelligence artificielle a éclairé ses recherches révolutionnaires, qui ont façonné le développement des domaines de l'apprentissage profond et de l'apprentissage automatique.

2003 : Premières impressions d'Ilya Sutskever

Sutskever : Je ne comprends pas, Hinton : Pourquoi je ne comprends pas, Sutskever : Les gens entraînent des réseaux neuronaux pour résoudre des problèmes, quand les gens souhaitez résoudre différents problèmes. Le moment venu, vous devez recommencer l'entraînement avec un autre réseau de neurones. Mais je pense que les gens devraient disposer d’un réseau neuronal capable de résoudre tous les problèmes.

Lorsqu'il était étudiant de premier cycle à l'Université de Toronto, Sutskever souhaitait rejoindre le laboratoire d'apprentissage profond du professeur Geoffrey Hinton. Alors, un jour, il a frappé à la porte du bureau du professeur Hinton et lui a demandé s'il pouvait rejoindre le laboratoire. Le professeur lui a demandé de prendre rendez-vous à l'avance, mais Sutskever ne voulait pas perdre plus de temps, alors il a immédiatement demandé : « Et maintenant ? » Hinton s'est rendu compte que Sutskever était un étudiant passionné, alors il a donné. lui deux papiers à lire. Une semaine plus tard, Sutskever est retourné au bureau du professeur et lui a dit qu'il ne comprenait pas.

"Pourquoi ne comprenez-vous pas ?", a demandé le professeur.

Sutskever a expliqué :

« Les gens entraînent les réseaux de neurones pour résoudre des problèmes, et lorsqu'ils veulent résoudre un problème différent, ils doivent recommencer avec un autre réseau de neurones. Mais je pense que les gens devraient en avoir un qui puisse résoudre tous les problèmes. . Réseaux de neurones. "

Ce passage démontre la capacité unique de Sutskever à tirer des conclusions qui prendraient des années même à des chercheurs expérimentés, et Hinton lui a adressé une invitation. J'espère qu'il rejoindra son laboratoire.

2011 : Première introduction à AGI

Sutskever : Je ne suis pas d'accord avec cette idée (AGI)

Lorsque Sutskever était encore à l'Université de Toronto, il s'est envolé pour Londres pour trouver un emploi chez DeepMind. Il y rencontre Demis Hassabis et Shane Legg (co-fondateurs de DeepMind), qui construisaient l'AGI (Artificial General Intelligence). L'AGI est une intelligence artificielle générale capable de penser et de raisonner comme les humains et d'accomplir diverses tâches liées à l'intelligence humaine, telles que comprendre le langage naturel, apprendre de l'expérience, prendre des décisions et résoudre des problèmes.

À l’époque, l’AGI n’était pas quelque chose dont les chercheurs sérieux parlaient. Sutskever a également estimé qu'ils avaient perdu le contact avec la réalité, alors il a refusé le poste, est retourné à l'université et a finalement rejoint Google en 2013. 2012 : Révolution de la reconnaissance d'images Et il croit fermement que le succès du concours ImageNet réglera ce débat une fois pour toutes.

Concours ImageNet : Le laboratoire de l'Université de Stanford organise chaque année le concours ImageNet. Ils fournissent aux candidats une vaste base de données de photos soigneusement étiquetées, et des chercheurs du monde entier viennent concourir pour tenter de créer un système capable de reconnaître le plus grand nombre d'images.

Deux étudiants de Hinton, Ilya Sutskever et Alex Krizhevsky ont participé à ce concours.

Ils ont brisé le schéma de conception manuel traditionnel, adopté un réseau neuronal profond et franchi la barre des 75 % de précision.

Ils ont donc remporté le concours ImageNet et leur système a ensuite été nommé AlexNet.

Depuis, le domaine de la reconnaissance d'images a pris un nouveau visage.

Plus tard, Sutskever, Krizhevsky et Hinton ont publié un article sur AlexNet, qui est devenu l'un des articles les plus cités en informatique, avec un total de plus de 60 000 citations par d'autres chercheurs. 2013 : Vente aux enchères de DNNresearch à Google

Sutskever & Krizhevsky : Vous méritez un plus grand pourcentage des dividendes. Hinton : Vous partagez trop de mon argent. Sutskever&Krizhevsky : Mais nous avons déjà décidé de vous donner la part du lion. Hinton : Cela témoigne de leur caractère.

Hinton, avec Sutskever et Krizhevsky, ont créé une nouvelle société appelée DNNresearch. Ils n'ont aucun produit et n'ont pas l'intention d'en construire à l'avenir.

Hinton a demandé à l'avocat comment maximiser la valeur de sa nouvelle entreprise, même si elle ne compte actuellement que trois employés, aucun produit et aucune fondation. L’une des options que lui a proposée l’avocat était d’organiser une vente aux enchères. Quatre sociétés ont participé à l'acquisition : Baidu, Google, Microsoft et DeepMind (alors une jeune startup basée à Londres). Le premier à sortir a été DeepMind, suivi de Microsoft, et finalement seuls Baidu et Google sont restés en compétition.

Vers minuit une nuit, le prix de l'enchère atteignait 44 millions de dollars, alors Hinton a suspendu les enchères et s'est endormi. Le lendemain, il a annoncé que les enchères étaient terminées et a vendu son entreprise à Google pour 44 millions de dollars, décidant qu'il était plus important de trouver le bon endroit pour ses recherches.

À ce stade, Hinton, comme ses étudiants, fait passer leurs idées avant le gain financier.

Quand est venu le temps de partager les bénéfices, Sutskever et Krizhevsky ont insisté pour que Hinton reçoive une part plus importante (40%), même si Hinton a suggéré qu'ils feraient aussi bien de dormir un peu. Le lendemain, ils insistaient encore sur ce mode de distribution. Hinton a commenté plus tard : « Cela reflète qui ils sont en tant que personnes, pas moi. »

Après cela, Sutskever est devenu chercheur scientifique chez Google Brain. Ses idées ont encore plus changé et ont commencé à s'aligner progressivement sur celles du fondateur de DeepMind. Il a commencé à croire que l’avenir d’AGI était juste devant lui. Bien entendu, Sutskever lui-même n’a jamais eu peur de changer d’avis face à de nouvelles informations ou expériences. Après tout, croire en AGI nécessite un acte de foi, Comme Sergey Levine (collègue de Sutskever chez Google) l'a dit à propos de Sutskever : « C'est une personne qui n'a pas peur de « croire » »

.

2014 : La révolution dans la traduction linguistique

Sutskever : La conclusion correcte est que si vous disposez d'un très grand ensemble de données et d'un très grand réseau neuronal, alors le succès est inévitable. (Le traducteur le plus performant)

Après avoir acquis DNN Research, Google a embauché Sutskever en tant que chercheur scientifique chez Google Brain.

Alors qu'il travaillait chez Google, Sutskever a inventé une variante d'un réseau de neurones capable de traduire l'anglais vers le français. Il a proposé « l'apprentissage séquence à séquence », qui capture la structure de séquence de l'entrée (comme une phrase anglaise) et la mappe à une sortie qui a également une structure de séquence (comme une phrase française).

Il a déclaré que les chercheurs ne croyaient pas que les réseaux de neurones pouvaient traduire, c'était donc une grande surprise lorsqu'ils l'ont réellement fait. Son invention a battu les traducteurs les plus performants et a fourni une mise à niveau majeure de Google Translate. La traduction linguistique ne sera plus jamais la même.

2015 : De Google à OpenAI : un nouveau chapitre de l'intelligence artificielle

Sam Altman et Greg Brockman ont réuni Sutskever et neuf autres chercheurs pour tester s'il est encore possible de travailler avec ce domaine Les meilleurs esprits forment un laboratoire de recherche. Quand est venu le temps de discuter du laboratoire qui allait devenir OpenAI, Sutskever s'est rendu compte qu'il avait trouvé un groupe de personnes partageant les mêmes idées et partageant ses convictions et ses désirs.

Brockman a invité ces 10 chercheurs à rejoindre son laboratoire et leur a donné trois semaines pour décider. Lorsque Google a découvert cela, ils ont proposé à Sutskever une somme d'argent substantielle pour les rejoindre. Après avoir été rejeté, Google a augmenté son salaire à près de 2 millions de dollars la première année, soit deux ou trois fois ce que lui versait OpenAI.

Mais Sutskever a volontiers laissé passer une offre d'emploi de plusieurs millions de dollars chez Google pour finalement devenir co-fondateur de l'organisation à but non lucratif OpenAI.

L’objectif d’OpenAI est d’utiliser l’intelligence artificielle au profit de toute l’humanité et de faire progresser l’intelligence artificielle de manière responsable.

2018 : Développement de GPT 1, 2 et 3

Sutskever a conduit OpenAI à inventer GPT-1, qui a ensuite été développé en GPT-2, GPT-3 et ChatGPT.

Le modèle GPT (Generative Pre-trained Transformer) est une série de modèles de langage basés sur des réseaux de neurones. Chaque mise à jour du modèle GPT constitue une avancée majeure dans le domaine du traitement du langage naturel.

• GPT-1 (2018)  : Il s'agit du premier modèle de la série, formé sur un ensemble de données textuelles Internet à grande échelle. L'une de ses innovations clés est l'utilisation d'un pré-entraînement non supervisé, où le modèle apprend à prédire les mots d'une phrase en fonction du contexte des mots précédents. Cela permet au modèle d'apprendre les structures du langage et de générer un texte de type humain.
• GPT-2 (2019)  : S'appuyant sur le succès de GPT-1, il a été formé sur un ensemble de données plus vaste, ce qui a abouti à un modèle plus puissant. L’une des avancées majeures de GPT-2 est sa capacité à générer des passages de texte cohérents et fluides sur un large éventail de sujets, ce qui en fait un acteur clé dans les tâches de compréhension et de génération de langues non supervisées. ​
• GPT-3 (2020)  : GPT-3 est un bond en avant substantiel en termes d'échelle et de performances. Il a été formé sur un ensemble de données massif utilisant 175 milliards de paramètres, bien plus volumineux que les modèles précédents. GPT-3 atteint des performances de pointe sur un large éventail de tâches linguistiques, telles que la réponse aux questions, la traduction automatique et le résumé, avec des capacités quasi humaines. Il montre également la capacité d’effectuer des tâches de codage simples, d’écrire des articles d’actualité cohérents et même de générer de la poésie.
• GPT-4 : devrait apparaître prochainement, probablement en 2023.

2021 : Développement de DALL-E 1

Sutskever a également dirigé OpenAI dans l'invention de DALL-E 1, un modèle de génération d'images piloté par l'IA. Il utilise une architecture et un processus de formation similaires au modèle GPT, mais est appliqué à la génération d'images plutôt que de texte.

La plupart des principaux générateurs d'images actuels - DALL-E 2, MidJourney - doivent leur existence à DALL-E 1, car ils sont basés sur la même architecture de transformateur et fonctionnent sur des ensembles de données d'images similaires et des descriptions textuelles associées. Organisez une formation. De plus, DALL-E 2 et MidJourney sont tous deux basés sur le processus de réglage fin de DALL-E 1.

2022 : Dévoilement de ChatGPT au monde

Le 30 novembre 2022, Sutskever a contribué au lancement de ChatGPT, qui a attiré l'attention du grand public et en seulement 5 jours, il est passé à 1 million d'utilisateurs.

ChatGPT fonctionne en pré-entraînant un réseau neuronal profond sur un grand ensemble de données textuelles, puis en l'affinant sur une tâche spécifique, comme répondre à des questions ou générer du texte. Il s'agit d'un système d'intelligence artificielle conversationnelle basé sur le modèle de langage GPT-3.

Comprendre le contexte d'une conversation et générer des réponses appropriées est l'une des principales fonctionnalités de ChatGPT. Le bot se souvient de vos fils de conversation et apporte des réponses de suivi basées sur les questions et réponses précédentes. Contrairement aux autres chatbots, qui se limitent souvent à des réactions préprogrammées, ChatGPT peut générer des réactions au sein de l'application, lui permettant d'avoir des conversations plus dynamiques et diversifiées.

Elon Musk est l'un des fondateurs d'OpenAI. Il a déclaré : "ChatGPT est terriblement bon. Nous ne sommes pas loin d'une intelligence artificielle dangereusement puissante."

Notes de fin

La passion d'Ilya Sutskever pour l'intelligence artificielle a conduit ses recherches révolutionnaires qui ont changé le cours du domaine. Ses travaux sur l’apprentissage profond et l’apprentissage automatique ont contribué à faire progresser l’état de l’art et à façonner l’orientation future du domaine.

Nous avons également été personnellement témoins de l’impact des travaux de Sutskever dans le domaine de l’intelligence artificielle. Il a changé le cours du domaine et continuera à travailler dans ce sens. Malgré avoir été confronté à plusieurs reprises aux tentations matérielles, Sutskever a choisi de poursuivre sa passion et de se concentrer sur ses recherches ; son dévouement à son travail est exemplaire pour tout chercheur.

Maintenant, nous avons été témoins de l'impact que Sutskever a eu sur notre monde. Évidemment, ce n’est qu’un début.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!