Qu'est-ce que ChatGPT ? Que signifient G, P et T ?

Bill Gates : ChatGPT est l'avancée technologique la plus révolutionnaire depuis 1980.

Dans cette ère de transformation de l’IA, nous ne pouvons que nous y joindre et suivre le rythme.

Ceci est ma note d'étude, j'espère qu'elle vous sera utile pour comprendre ChatGPT.

1. Que signifient les GPT dans ChatGPT ?

GPT, Generative Pre-trained Transformer, modèle de transformation générative pré-entraînée.

Qu'est-ce que cela signifie ?

Génératif signifie qu'il peut générer du contenu spontanément.

Pré-entraîné, pré-formation, ne vous oblige pas à l'obtenir et à vous entraîner à nouveau. Il prépare directement pour vous un modèle de langage général.

Transformer, modèle de transformation, est un modèle très puissant proposé par Google. Il peut aider à mieux gérer les problèmes liés à la PNL. C'est une très bonne structure de réseau neuronal.

2. Bien que Transformer ait été proposé par Google. Mais l’application la plus réussie est ChatGPT d’OpenAI.

Parce que ChatGPT repose sur les épaules de géants.

ChatGPT est la cristallisation de toute la société humaine sans avoir ouvert la voie, ChatGPT ne se serait pas déroulé aussi facilement.

Il y aura des applications plus puissantes à l'avenir, qui seront basées sur ChatGPT.

3. Il y a un concept très important dans Transformer, le mécanisme d'attention.

Quel est le mécanisme d’attention ?

Cela signifie sélectionner les informations importantes parmi les informations que vous saisissez, vous concentrer sur ces informations importantes et ignorer les informations sans importance. De cette façon, vous pourrez mieux comprendre ce que vous dites.

Le mécanisme d'attention peut aider le modèle Transformer à se concentrer sur la partie la plus importante des informations d'entrée.

4. Les méthodes d'apprentissage automatique sont divisées en apprentissage supervisé, apprentissage non supervisé et apprentissage par renforcement.

Apprentissage supervisé : il y a des données étiquetées, des commentaires directs, et les résultats et l'avenir peuvent être prédits

Apprentissage non supervisé : il n'y a pas d'étiquettes ni d'objectifs, pas de commentaires, mais il recherche par lui-même des résultats cachés dans les données

Apprentissage par renforcement : il s'agit d'un processus de prise de décision qui comporte une série de mécanismes de récompense et de mécanismes de punition pour permettre à l'apprentissage automatique de mieux fonctionner. ChatGPT utilise l'apprentissage non supervisé et l'apprentissage par renforcement.

5. ChatGPT peut générer et créer une grande quantité de contenu, qui repose en fait sur la probabilité de deviner.

Par exemple, le temps est gris et mon humeur est très ___

L'IA entraînée avec une grande quantité de données prédira que le mot ayant la plus forte probabilité d'apparaître dans cet espace est "déprimé".

Ensuite, "déprimé" sera rempli dans ce blanc, donc la réponse est :

Le temps est gris et gris, et je me sens très déprimé

C'est incroyable, mais c'est la vérité.

Toutes les tâches de PNL (traitement du langage naturel) à ce stade ne sont pas des machines capables de véritablement comprendre le monde humain.

Il joue simplement à des jeux de mots et résout des énigmes de probabilité encore et encore.

6. Dans ce jeu de mots consistant à « deviner la probabilité », le Large Language Model (LLM, Large Language Model) a évolué vers les deux directions les plus courantes : BERT et GPT.

BERT était auparavant la direction la plus populaire, dominant presque tous les domaines de la PNL.

Et réussissez bien dans les tâches de compréhension du langage naturel (telles que la classification de textes, le jugement de tendance émotionnelle, etc.).

La direction GPT est relativement faible et l'acteur le plus connu est OpenAl.

En fait, avant la sortie de GPT3.0, la direction de GPT a toujours été plus faible que celle de BERT (GPT3.0 est le prédécesseur de GPT3.5, le modèle derrière ChatGPT).

7. Quelle est la différence entre BERT et GPT ?

BERT est un modèle de langage bidirectionnel. Il devine le mot au milieu avant et après la connexion, il est donc bidirectionnel, tout comme remplir les blancs.

Par exemple : je___rentrer chez moi le 20

BERT a deviné "Je prévois de rentrer chez moi le 20" et a deviné le "plan" au milieu.

GPT est un modèle de langage à sens unique, qui consiste à deviner le mot suivant, c'est donc à sens unique, comme écrire une composition.

Par exemple : je prévois de rentrer chez moi le 20___

GPT a deviné "Je prévois de rentrer chez moi le 20", et a deviné le mot "rentrer chez moi" après.

8. Comment poser des questions à GPT ?

Il existe deux manières : affiner et inviter.

réglage fin, ajustement des paramètres : les paramètres du modèle doivent être mis à jour pour compléter le contenu généré.

la mise au point est professionnelle, avec un seuil élevé et un petit public. Cependant, il présente une grande diversité et précision et convient aux tâches complexes. Un jeu pour quelques joueurs.

invite, mot d'invite : pas besoin de modifier le modèle et les paramètres, donnez simplement quelques conseils et exemples pour terminer la tâche.

l'invite est plus simple, le seuil est bas et le public est large. Convient pour gérer des tâches simples. Tous les joueurs le sont.

Le contenu que nous saisissons dans la zone de saisie ChatGPT est l'invite.

9. ChatGPT est une IA générative.

L'IA est divisée en deux types en termes de méthodes de production de contenu : l'IA analytique et l'IA générative.

L'IA analytique est principalement utilisée pour l'analyse et la classification. La quantité de données que vous lui fournissez, le type de contenu qu'il peut analyser, cela se limite aux données elles-mêmes.

L'IA générative crée un nouveau contenu qui n'existe pas dans les données sur la base de l'apprentissage et de la synthèse de la distribution des données. Peut générer du texte, des images, du code, des synthèses vocales, des vidéos et des modèles 3D.

ChatGPT est une IA générative qui est la meilleure pour écrire du texte et du code.

10. Enfin, du point de vue de l'acquisition de connaissances, ChatGPT est une nouvelle génération de « méthode de représentation et d'invocation des connaissances ».

Au début, les connaissances étaient stockées dans des bases de données de manière structurée. Nous l'obtenons via SQL.

Plus tard, avec la naissance d'Internet, des connaissances plus non structurées telles que des textes, des images et des vidéos ont été stockées sur Internet. Nous l'obtenons via les moteurs de recherche.

Désormais, les connaissances sont stockées dans le grand modèle sous forme de paramètres. Nous invoquons directement ces connaissances en utilisant le langage naturel.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!