À quel point ChatGPT est-il génial, qui peut remplacer 90 % des emplois ?

OpenAI, un laboratoire de recherche en intelligence artificielle, a lancé le modèle de génération de langage naturel ChatGPT le 30 novembre 2022. Il a dépassé les 100 millions d'utilisateurs dans les deux mois suivant son lancement, ce qui en fait une super célébrité Internet bien méritée dans le domaine de l'intelligence artificielle. industrie. ChatGPT a rapidement percé grâce à ses puissantes capacités de réponse anthropomorphiques et rapides, suscitant des discussions animées dans tous les horizons. En termes simples, ChatGPT est un chatbot à intelligence artificielle qui peut générer automatiquement des réponses basées sur la saisie de texte de l'utilisateur. Ensuite, certaines personnes diront certainement qu'il s'agit de Siri. Bien qu'ils soient tous deux des robots interactifs, la différence entre les deux est énorme. Alors pourquoi ChatGPT fonctionne-t-il si bien dans l’interaction homme-machine ? Va-t-il remplacer les moteurs de recherche ? Est-ce que 90 % des gens risquent vraiment de perdre leur emploi à cause de l’émergence de ChatGPT ? En gardant ces questions à l’esprit, examinons quels sont les avantages de ChatGPT et les changements qu’il apportera au secteur à l’avenir.

Qu'est-ce que ChatGPT exactement​

Qui a créé ChatGPT

Sam Altman, le fondateur d'OpenAI, est un génie capable de programmer dès l'âge de 8 ans. En 2015, il s'est associé avec Tesla Boss Musk, l'investisseur providentiel Peter Thiel et d'autres magnats de la Silicon Valley ont fondé OpenAI, un laboratoire de recherche en intelligence artificielle principalement composé de l'organisation à but lucratif OpenAI LP et de l'organisation à but non lucratif de la société mère OpenAI Inc. Le but est de promouvoir et de développer des technologies artificielles conviviales. l’intelligence artificielle pour empêcher l’intelligence artificielle de s’échapper du contrôle humain. OpenAI se concentre sur la recherche et le développement de technologies d'intelligence artificielle de pointe, notamment les algorithmes d'apprentissage automatique, l'apprentissage par renforcement et le traitement du langage naturel. OpenAI a publié ChatGPT le 30 novembre 2022, fournissant officiellement des services de dialogue questions-réponses en ligne en temps réel.

Qu'est-ce que ChatGPT

Il y a ce passage dans le livre "The Boundary of Knowledge" :

Lorsque la connaissance devient mise en réseau, la personne la plus intelligente dans la pièce est devenue Pas la celui qui se tient devant la salle nous enseigne une leçon, ni la sagesse collective de toutes les personnes présentes dans la salle. La personne la plus intelligente dans la pièce est la pièce elle-même : le réseau qui contient toutes les personnes et toutes les idées qui s'y trouvent et les connecte au monde extérieur.

Ma compréhension de cette phrase est qu'Internet possède toutes les connaissances et expériences humaines, fournissant des données d'apprentissage massives pour l'intelligence artificielle. Lorsque ces connaissances et expériences sont organisées de manière ordonnée, il fournit également un sol de données abondant. pour la formation d'une application d'intelligence artificielle "Knowing King". Une fois que ChatGPT est alimenté et entraîné par les données textuelles massives et les données des bases de données linguistiques sur Internet, il peut générer des réponses correspondantes basées sur le contenu du texte que vous saisissez, tout comme deux personnes discutant entre elles. En plus de pouvoir communiquer avec vous sans aucune barrière, cela peut même vous donner l'impression que vous ne parlez pas à un chatbot mais à une vraie personne bien informée et un peu drôle. Les réponses ont même un certain ton humain, qui. est très important dans ce monde. C'était inimaginable dans les chatbots précédents.

Voici une brève explication de la signification littérale de ChatGPT. Il s'agit d'un modèle général de génération de langage naturel. Chat signifie dialogue, et le soi-disant GPT est Genarative Pre-trained Transformer, ce qui signifie génératif pré-entraîné. modèle de transformation. Cela ne semble-t-il pas un peu flou ?

De plus, vous pouvez également lui demander de vous aider à effectuer certains travaux pratiques, comme la rédaction de textes, l'écriture de scripts, et même vous aider à écrire du code directement et à trouver des bugs dans le code. Les membres veulent détruire leur propre travail et le faire de manière bruyante. On peut dire que cela est tout-puissant au niveau du texte et du code. Cette méthode interactive de saisie de questions et de réponse immédiate est bien meilleure que l'expérience d'utilisation des moteurs de recherche traditionnels pour trouver ce dont vous avez besoin dans des données massives. Par conséquent, il est prévisible que ChatGPT bouleversera les moteurs de recherche traditionnels dans un avenir proche et changera complètement la donne. moyen de récupération d’informations.

De plus, ChatGPT peut également répondre aux questions dans leur contexte, et en même temps, il peut admettre de manière proactive ses propres lacunes et remettre en question la rationalité des questions. Ce qui suit est ChatGPT qui nie la question que j'ai soulevée.

PS : J'ai demandé à ChatGPT comment devenir l'homme le plus riche du monde. Le secret est ci-dessous.

C'est précisément parce que ChartGPT possède des capacités de compréhension, d'apprentissage et de création si puissantes qu'il est devenu le produit d'application intelligent à la croissance la plus rapide pour les utilisateurs finaux C depuis la naissance de l'intelligence artificielle de l'IA. Dans le passé, les produits de l'intelligence artificielle côté C étaient toujours considérés comme pas assez intelligents ou même ridiculisés comme étant « artificiellement retardés ». Même du côté B, ils n'étaient utilisés que dans certains scénarios. Les gens ordinaires ne pouvaient tout simplement pas ressentir la puissance de l'IA. Cependant, l'émergence de ChatGPT pourrait indiquer que l'intelligence artificielle sera intégrée dans la vie des gens ordinaires à l'avenir.

PS : j'ai vraiment peur qu'il réponde oui.

Pourquoi ChatGPT est-il si puissant ?

Bien que ChatGPT soit devenu populaire du jour au lendemain, le développement technologique qui le sous-tend ne s'est pas produit du jour au lendemain. Par conséquent, si nous voulons comprendre pourquoi ChatGPT est si puissant, nous devons comprendre les principes techniques qui le sous-tendent.

Itération du modèle linguistique

Nous savons tous que le langage naturel est l'outil le plus important pour la communication humaine, donc comment permettre aux machines de communiquer avec les gens sans obstacle grâce au langage naturel a toujours été une quête inlassable dans le domaine de Cible d’intelligence artificielle. Le NLP (Natural Language Processing) est une direction de recherche importante dans le domaine de l'informatique et de l'intelligence artificielle, spécialisée dans la capacité des machines à comprendre le langage naturel et à réagir sur cette base. Si vous souhaitez qu'un ordinateur reconnaisse le langage naturel, vous avez besoin d'un modèle de langage correspondant pour analyser et traiter le texte. Le principe général du modèle linguistique est d'effectuer une modélisation probabiliste du texte linguistique et d'utiliser le modèle pour prédire la probabilité du prochain contenu de sortie. Le processus général est le suivant. Le modèle de langage est utilisé pour générer la phrase avec la plus forte probabilité d'occurrence après un paragraphe. Les modèles de langage peuvent être divisés en modèles de langage statistiques et en modèles de langage de réseau neuronal. ChatGPT est un modèle de langage de réseau neuronal après une optimisation itérative dans plusieurs versions, il a atteint des performances exceptionnelles qui ont choqué tout le monde aujourd'hui. Nous pouvons brièvement revoir l'historique de développement de LM (Language Model) et voir comment le modèle de langage évolue étape par étape. Cela nous est très utile pour comprendre les principes techniques derrière ChatGPT.

RNN

RNN (Recurrent Neural Network, réseau de neurones récurrents) a été largement utilisé dans le domaine du NPL. La PNL que nous avons mentionnée ci-dessus vise à résoudre le problème de permettre à la machine de comprendre le langage naturel. Par conséquent, si la machine est autorisée à comprendre le sens d’une phrase, elle doit non seulement comprendre le sens de chaque mot de la phrase, mais également la traiter. la phrase. Quelle est la signification exprimée par les séquences connectées, et RNN résout le problème de la modélisation de la séquence d'échantillons de données.

Cependant, RNN a des problèmes d'efficacité lors du traitement des séquences de langage, il est effectué par sérialisation, ce qui signifie que le traitement du mot suivant doit attendre que l'état du mot précédent soit affiché. Pour continuer, il existe également des problèmes tels que l'explosion du gradient et l'oubli. C’est pourquoi les experts en intelligence artificielle continuent d’optimiser les modèles sur cette base.

Transformer

Google Brain a proposé le modèle Transformer dans l'article "Attention Is All You Need" en 2017. Il s'agit d'un modèle d'apprentissage profond basé sur le mécanisme d'auto-attention, principalement optimisé pour RNN. problèmes de conception. Surtout le problème de la sérialisation des séquences de texte. Le modèle Transformer peut traiter tous les mots de la séquence de texte en même temps, la distance de n'importe quel mot de la séquence est de 1, évitant ainsi la longue distance causée par la séquence trop longue. longtemps dans la question du modèle RNN. L'introduction du modèle Transformer peut être considérée comme un symbole important du développement bond en avant dans le domaine de la PNL, car les célèbres modèles BERT et GPT qui ont suivi ont tous évolué sur la base du modèle Transformer. La figure ci-dessous montre la structure du modèle Transformer. Le modèle GPT d'origine et le dernier modèle ChatGPT sont en fait des modèles de langage avec le modèle Transformer comme structure de base. GPT utilise le composant Decoder du modèle Transformer, qui est plus adapté pour répondre aux scénarios suivants sur la base de ce qui précède.

Afin d'améliorer la précision de la formation, de nombreuses tâches de formation en apprentissage automatique sont effectuées à l'aide d'ensembles de données étiquetés, mais en fait, l'étiquetage des données représente une lourde charge de travail et consomme beaucoup de main d'œuvre et de temps. Par conséquent, à mesure que la puissance de calcul continue d’augmenter, nous devons nous entraîner sur davantage de données qui n’ont pas été étiquetées manuellement. Par conséquent, GPT propose un nouveau paradigme de formation en langage naturel qui utilise des données textuelles massives pour effectuer un apprentissage non supervisé afin de réaliser une formation sur modèle. C'est pourquoi GPT adopte le mode de formation Pré-formation + Mise au point. La structure du modèle de GPT est la suivante et son objectif de formation est de prédire ce qui suit sur la base de ce qui précède.

La structure réelle du modèle de GPT-2 n'a pas changé de manière significative, il s'agit simplement d'un simple ajustement. La raison principale est que GPT-2 utilise plus de paramètres de modèle et plus de données d'entraînement. Son objectif est de former un modèle de langage doté d'une plus grande capacité de généralisation. La soi-disant généralisation est la capacité à traiter des problèmes qui n'ont jamais été rencontrés auparavant.

GPT-3

En 2020, OpenAI a proposé le modèle GPT-3 dans l'article "Language Models are Few-Shot Learners". Il utilise deux paramètres de modèle et une très grande quantité de données de formation. Il propose principalement la capacité d’apprentissage contextuel du LLM.

GPT-3 explore l'effet du modèle sous trois formes d'entrée différentes : Zero-shot, One-shot et Few-shot. Il examine principalement comment prédire les réponses possibles à travers les questions existantes. Voici une brève explication de Zero-shot, One-shot et Few-shot signifie uniquement donner des indices, One-shot donnera un exemple et Few-shot. shot Destiné à donner plusieurs exemples. Cependant, il ne considère pas si le contenu de la réponse répond aux attentes humaines. C'est également la principale direction d'optimisation d'InstructGTP dans la période ultérieure.

Vous pouvez voir dans le tableau ci-dessous que l'ampleur des paramètres et l'ampleur des données de la formation GPT ont augmenté de manière explosive Lorsque le modèle itère vers GPT-3, le nombre de paramètres a dépassé 100 milliards, et le nombre de paramètres a dépassé 100 milliards. données de pré-formation La capacité atteint 45 To, ce qui peut être considéré comme un véritable modèle super LLM. L'énorme quantité de paramètres de modèle et de données de pré-formation a également entraîné une augmentation des coûts de formation. Le coût de la formation du GPT-3 s'élève à 1 200 dollars américains.

Capacités clés de ChatGPT

Actuellement, OpenAI n'a pas publié d'article correspondant sur ChatGPT, mais en fait, son idée de base est fondamentalement la même que l'article "Former des modèles de langage pour suivre des instructions avec des commentaires humains" publié par OpenAI dans 2022. De manière cohérente, l'optimisation la plus importante d'InstructGPT est l'introduction de la technologie RLHF (Reinforcement Learning from Human Feedback, apprentissage par renforcement basé sur le feedback humain). Le modèle original est affiné en permettant au modèle d'apprendre le processus de dialogue humain et en permettant aux humains d'annoter, d'évaluer et de classer les résultats des réponses du modèle, de sorte que le modèle convergé puisse être plus cohérent avec les intentions humaines lorsqu'il répond aux questions.

De plus, la méthode de formation InstructGPT proposée dans cet article est en fait fondamentalement la même que ChatGPT, à l'exception de la légère différence dans la manière d'obtenir les données. Par conséquent, InstructGPT peut être considéré comme une paire de modèles frères. avec ChatGPT. Examinons de plus près comment ChatGPT est formé et comment ChatGPT résout le problème de rendre les réponses apportées par le modèle plus cohérentes avec les intentions ou les préférences humaines. ​Le processus de formation ci-dessus peut sembler un peu compliqué. Après avoir été simplifié, il est illustré dans la figure ci-dessous. Cela devrait permettre aux étudiants de comprendre plus facilement comment le modèle ChatGPT est formé. . Selon les étapes indiquées sur le site officiel, son idée principale de formation est de collecter des données de rétroaction - "Modèle de récompense de formation -" Apprentissage par renforcement PPO.

Le processus de formation ChatGPT est principalement divisé en trois étapes :

Phase 1 : affiner le modèle initial GPT-3.5 grâce à un apprentissage supervisé

En fait, LLM (Large Language Model) , grand modèle de langage), cela ne signifie pas que plus il y a d'échantillons de données pour la formation, mieux c'est. Pourquoi dites-vous cela ? Étant donné que les modèles de pré-formation en langage volumineux comme ChatGPT sont formés avec des paramètres extrêmement volumineux et des données massives, ces échantillons de données massifs sont en réalité transparents pour les experts en intelligence artificielle et incontrôlables. Par conséquent, si l'échantillon de données contient de mauvaises données telles que la discrimination raciale et la violence, le modèle pré-entraîné peut avoir ces mauvais attributs de contenu. Cependant, pour les experts en intelligence artificielle, il est nécessaire de s’assurer que l’intelligence artificielle est objective et équitable sans aucun parti pris, et ChatGPT est formé à cet aspect.

Par conséquent, ChatGPT effectue une formation de modèles via un apprentissage supervisé. Ce que l'on appelle l'apprentissage supervisé signifie un apprentissage sur un ensemble de données qui « a des réponses ». À cette fin, OpenAI a embauché 40 entrepreneurs pour effectuer un travail d'étiquetage des données. Tout d'abord, ces étiqueteurs ont été invités à simuler l'interaction homme-machine pour plusieurs cycles d'interaction linguistique. Au cours du processus, des données d'étiquetage précises et manuelles ont été générées. Affinons le modèle GPT-3.5 pour obtenir le modèle SFT (Supervised Fine-Tuning).

Phase 2 : Créer le modèle de récompense

Après avoir extrait au hasard un lot de données d'invite, utilisez le modèle affiné dans la première étape pour répondre automatiquement à différentes questions, puis laissez les étiqueteurs examiner le Réponses. De bon à mauvais, les données de résultat triées sont utilisées pour former le modèle de récompense. Au cours de ce processus, les résultats triés continuent d'être combinés par paires pour former des paires de données de formation triées. score de qualité de réponse. Ce modèle de récompense est essentiellement une abstraction des véritables intentions humaines. En raison de cette étape critique, le modèle de récompense peut continuellement guider le modèle dans une direction conforme aux intentions humaines pour produire des résultats de réponse correspondants.

Phase 3 : PPO (Optimisation de la politique proximale, optimisation de la politique proximale) Modèle de réglage fin de l'apprentissage par renforcement

PPO est un algorithme d'optimisation de région de confiance qui utilise des contraintes de gradient pour garantir que l'étape de mise à jour ne détruit pas stabilité du processus d’apprentissage. Après avoir continué à extraire un lot de données d'invite à ce stade, utilisez le modèle de récompense construit à l'étape 2 pour noter les réponses du modèle de formation affiné afin de mettre à jour les paramètres pré-entraînés. Les réponses les plus performantes sont récompensées via le modèle de récompense, et le gradient politique qui en résulte peut mettre à jour les paramètres du modèle PPO. Répétez continuellement jusqu'à ce que le modèle converge enfin.

On voit que le processus de formation de ChatGPT est en fait le processus d'application d'un apprentissage supervisé combiné à la technologie RLHF. ChatGPT s'appuie en fait sur la technologie RLHF pour générer une réponse plus conforme aux attentes humaines. .

Grâce au processus de formation du modèle ci-dessus, nous avons conclu que la raison pour laquelle ChatGPT dispose de fortes capacités de compréhension du contexte bénéficie principalement de trois capacités clés, à savoir un modèle de base puissant, des exemples de données de haute qualité et un apprentissage par renforcement basé sur sur le feedback humain.

Le cœur est la technologie RLHF, qui utilise l'entraînement pour trouver la fonction de récompense qui explique le mieux le jugement humain, puis s'entraîne continuellement pour renforcer la cognition.

Quels changements ChatGPT apporte-t-il

Remplacement des moteurs de recherche

Le moteur de recherche actuel ne peut faire correspondre et indexer les pages Web correspondantes dans la base de données du moteur de recherche qu'en fonction des mots-clés que nous recherchons Les résultats montrent que les moteurs de recherche comme Baidu vous proposeront toujours des publicités. Les utilisateurs doivent toujours trouver ce qu’ils souhaitent le plus parmi les informations renvoyées. Mais ChatGPT est différent. La réponse est la question, permettant aux utilisateurs d'économiser beaucoup de temps et d'énergie dans le filtrage des résultats de recherche invalides. ChatGPT peut comprendre très précisément l'intention réelle de l'utilisateur. Cependant, les moteurs de recherche traditionnels utilisent toujours des méthodes de recherche par correspondance de mots clés et ne comprennent pas réellement la véritable signification de l'instruction de recherche saisie par l'utilisateur. Cependant, ChatGPT peut comprendre la véritable intention de l'utilisateur. la contribution de l'utilisateur. De plus, il apportera des réponses créatives pour aider les utilisateurs à se débarrasser des travaux compliqués.

PS : Le moteur de recherche Bing de Microsoft a commencé à se connecter à ChatGPT.

Remplacement du service client manuel​

Le soi-disant service client intelligent prédéfinit désormais simplement quelques questions courantes pour des réponses automatiques. C'est loin de la soi-disant intelligence, mais en To. dans une certaine mesure, cela peut réduire les coûts d'investissement de l'entreprise dans le personnel du service client. Mais avec ChatGPT, parce qu'il peut comprendre la véritable intention de l'utilisateur au lieu de répondre mécaniquement à des questions prédéfinies, il peut aider les utilisateurs à résoudre les problèmes réels du service client et à maximiser l'utilisation du service client manuel. Les coûts sont réduits. au minimum.

Remplacer la création de contenu

ChatGPT peut non seulement répondre aux questions, il peut également créer du contenu, comme écrire une chanson, un poème, un plan d'événement, etc. Par conséquent, de nombreux étudiants engagés dans la création de contenu textuel ressentent une crise profonde. Ils pensaient que les robots devraient d'abord remplacer les travailleurs manuels, mais qui aurait pensé que l'émergence de ChatGPT éliminerait directement les emplois de nombreux travailleurs mentaux.

Limites de ChatGPT

Biais des données de formation​

Les données de formation de ChatGPT sont basées sur des données textuelles massives dans le monde Internet. Si les données textuelles elles-mêmes sont inexactes ou présentent une sorte de biais, Le ChatGPT actuel est incapable de faire la distinction, donc cette inexactitude et ce biais seront inévitablement transmis lors des réponses aux questions.

Les scénarios applicables sont limités

Actuellement, ChatGPT peut principalement gérer des questions, réponses et tâches en langage naturel. Dans d'autres domaines tels que la reconnaissance d'images, la reconnaissance vocale, etc., il n'a pas nécessairement de traitement correspondant. capacités, mais je pense qu'il sera disponible dans un avenir proche. Il y aura peut-être VoiceGPT et ViewGPT dans le futur, tout le monde attendra de voir.

Coût de formation élevé

ChatGPT est un très grand modèle d'apprentissage en profondeur dans le domaine NPL. Ses paramètres de formation et ses données de formation sont très énormes, donc si vous souhaitez former ChatGPT, vous devez utiliser des données volumineuses. centres et ressources de cloud computing, ainsi qu'une grande quantité de puissance de calcul et d'espace de stockage pour traiter des données de formation massives. En termes simples, le coût de la formation et de l'utilisation de ChatGPT est encore très élevé.

Résumé

L'intelligence artificielle de l'IA fait parler d'elle depuis de nombreuses années, est en phase de développement et a obtenu des résultats d'application dans certains domaines spécifiques. Mais pour les utilisateurs finaux C, il n'existe pratiquement aucun véritable produit d'application d'intelligence artificielle pouvant être utilisé. Cependant, la sortie de ChatGPT cette fois est un événement marquant, car pour les gens ordinaires, l'intelligence artificielle de l'IA n'est plus un terme technique lointain, mais un véritable outil d'application intelligent à portée de main, qui peut faire ressentir aux gens ordinaires la puissance de l'IA. . De plus, ce que je veux dire, c'est que ChatGPT n'est peut-être qu'un début. À l'heure actuelle, il n'effectue que les tâches correspondantes selon les instructions humaines. Mais à l'avenir, avec l'itération continue de l'auto-apprentissage de l'intelligence artificielle, il pourrait devenir conscient. et faire les choses de manière autonome. À ce moment-là, il ne sera pas clair si l'humanité est confrontée à un assistant omnipotent ou à un dragon maléfique incontrôlable.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!