GPT-3 prévoit d'être open source ! Sam Altman a révélé qu'il existe un besoin urgent de GPU et que les capacités multimodales GPT-4 seront disponibles l'année prochaine.

Après l'audience, Sam Altman a emmené son équipe en "voyage" en Europe.

Dans une récente interview, Altman ne l'a pas caché, révélant que tous les progrès de sa propre IA devront attendre que le GPU rattrape son retard.

Il a discuté de l'API et des plans de produits d'OpenAI, qui ont attiré l'attention de nombreuses personnes.

De nombreux internautes ont exprimé que j'aimais la franchise d'Altman.

Il convient de mentionner que les capacités multimodales de GPT-4 devraient être disponibles pour la plupart des utilisateurs Plus en 2024, à condition qu'ils disposent de suffisamment de GPU.

Le grand frère Microsoft a dépensé 1,2 milliard de dollars pour construire un supercalculateur pour OpenAI, qui est loin de pouvoir répondre à la puissance de calcul requise pour le fonctionnement de GPT-4. Après tout, les paramètres GPT-4 auraient 100 000 milliards.

De plus, Altman a également révélé que GPT-3 est également inclus dans le plan open source d'OpenAI.

Je ne sais pas si cette interview a révélé trop de « secrets » d'OpenAI. Le manuscrit source a été supprimé, merci de le coder rapidement.

Points forts

La dernière interview a été animée par Raza Habib, PDG de la plateforme de développement d'IA Humanloop, qui a interviewé Altman et 20 autres développeurs.

Cette discussion aborde des problèmes pratiques pour les développeurs, ainsi que des problèmes plus larges liés à la mission d'OpenAI et à l'impact social de l'IA.

Voici les points clés :

1 OpenAI a un besoin urgent de GPU

2 Feuille de route à court terme d'OpenAI : ouverture multimodale de GPT-4 en 2024

. 3. Réussi Le plug-in ChatGPT d'accès à l'API ne sera pas publié dans un avenir proche

4 OpenAI ne fait que ChatGPT, la "killer application", dans le but de faire de ChatGPT un assistant de travail super intelligent

. 5. GPT-3 est dans le plan open source

6. La règle de mise à l'échelle des performances du modèle continue d'être valable

Ensuite, je présenterai ce que Sam Altman a dit à partir de 6 points majeurs.

OpenAI s'appuie actuellement fortement sur les GPU

Tous les sujets de l'interview tournaient autour du thème : "OpenAI manque trop de GPU".

Cela a retardé bon nombre de leurs projets à court terme.

Actuellement, de nombreux clients d'OpenAI se plaignent de la fiabilité et de la rapidité de l'API. Sam Altman a expliqué que la raison principale est que le GPU est trop court.

OpenAI est le premier client du supercalculateur NVIDIA DGX-1

Quant à la longueur du contexte prenant en charge 32 000 jetons, elle ne peut pas être déployée auprès de plus de personnes.

Étant donné qu'OpenAI n'a pas encore surmonté les obstacles techniques, il semble qu'ils auront le contexte nécessaire pour prendre en charge 100 000 à 1 million de jetons cette année, mais devront faire une percée dans la recherche.

L'API Fine-Tuning est également actuellement limitée par la disponibilité du GPU.

OpenAI n'utilise pas encore de méthodes de réglage fin efficaces telles que les adaptateurs ou LoRa, le réglage fin nécessite donc beaucoup de calculs à exécuter et à gérer.

Cependant, ils fourniront un meilleur support pour les réglages fins à l'avenir. OpenAI peut même héberger un marché de modèles contribués par la communauté.

Enfin, la fourniture de capacité dédiée est également limitée par la disponibilité du GPU.

Au début de cette année, les internautes ont révélé qu'OpenAI lançait discrètement une nouvelle plate-forme de développement, Foundry, pour permettre aux clients d'exécuter le nouveau modèle d'apprentissage automatique de l'entreprise sur une capacité dédiée.

Ce produit est « conçu pour les clients de pointe exécutant des charges de travail plus importantes ». Pour utiliser ce service, les clients doivent être prêts à payer des frais initiaux de 100 000 $.

Cependant, comme le montrent les informations sur l'image révélées, l'exemple n'est pas bon marché.

L'exécution de la version allégée de GPT-3.5 coûtera 78 000 $ pour 3 mois de délégation et 264 000 $ pour un an.

On voit aussi de l'autre côté que la consommation de GPU coûte cher.

Feuille de route à court terme d'OpenAI

Altman a partagé la feuille de route provisoire à court terme pour l'API OpenAI :

2023 :

· GPT-4 rapide et bon marchéC'est la priorité absolue d'OpenAI.

De manière générale, l’objectif d’OpenAI est de réduire autant que possible les « coûts intelligents ». Ils vont donc travailler dur pour continuer à réduire le coût de leurs API.

·Fenêtres contextuelles plus longues ーーDans un avenir proche, les fenêtres contextuelles pourront prendre en charge jusqu'à 1 million de jetons.

· API de réglage fin – L'API de réglage fin sera étendue aux derniers modèles, mais la forme exacte dépendra de ce que veulent réellement les développeurs.

· API avec mémoire ーー Actuellement, la plupart des jetons sont gaspillés dans la transmission ci-dessus. À l'avenir, il y aura une version API capable de mémoriser l'historique des conversations.

2024 :

· Capacités multimodales ーーGPT-4 a démontré de puissantes capacités multimodales lors de sa sortie, mais tant que le GPU n'est pas satisfait, cette fonctionnalité ne peut pas être étendue. tout le monde.

Le plug-in "n'a pas PMF" et n'apparaîtra pas dans l'API à court terme

De nombreux développeurs sont très intéressés par l'accès aux plug-ins ChatGPT via l'API, mais Sam a déclaré que ces plug-ins le feraient ne sera pas publié prochainement.

"À l'exception de la navigation, le système de plug-in n'a pas trouvé PMF."

Il a également souligné que de nombreuses personnes souhaitent mettre leurs produits dans ChatGPT, mais en fait, ce dont elles ont réellement besoin, c'est pour intégrer ChatGPT dans leurs produits.

À l'exception de ChatGPT, OpenAI ne sortira plus de produits

Chaque mouvement d'OpenAI fait trembler les développeurs.

De nombreux développeurs ont exprimé leur nervosité à l'idée d'utiliser l'API OpenAI pour créer des applications alors qu'OpenAI peut publier des produits qui leur font concurrence.

Et Altman a déclaré qu'OpenAI ne publierait pas plus de produits en dehors de ChatGPT.

Selon lui, une grande entreprise a une "application qui tue", et ChatGPT va être cette application qui bat tous les records. La vision de

ChatGPT est de devenir un assistant de travail super intelligent. OpenAI ne touchera pas à de nombreux autres cas d'utilisation de GPT.

La réglementation est nécessaire, mais l'open source l'est aussi

Altman appelle à une réglementation des futurs modèles, mais il ne croit pas que les modèles existants soient dangereux.

Il estime que réglementer ou interdire les modèles existants serait une énorme erreur.

Dans l'interview, il a réitéré sa conviction de l'importance de l'open source et a déclaré qu'OpenAI envisageait de rendre GPT-3 open source.

Maintenant, une partie de la raison pour laquelle OpenAI n'est pas open source est qu'il doute du nombre d'individus et d'entreprises qui ont la capacité d'héberger et de fournir de grands modèles.

La « loi d'échelle » des performances des modèles est toujours valable

Récemment, de nombreux articles ont affirmé que l'ère des modèles géants d'intelligence artificielle était révolue. Cependant, cela ne reflète pas fidèlement l’intention initiale d’Altman.

Les données internes d'OpenAI montrent que les lois de mise à l'échelle pour les performances du modèle sont toujours en vigueur et que l'agrandissement du modèle continuera à générer des performances.

Cependant, OpenAI a étendu son modèle des millions de fois en quelques années seulement et ne peut donc pas maintenir ce taux d'expansion.

Cela ne signifie pas qu'OpenAI ne continuera pas à essayer d'agrandir les modèles, cela signifie simplement qu'ils n'augmenteront probablement que de 1x/2x par an au lieu de plusieurs ordres de grandeur. Le fait que les lois de mise à l'échelle continuent d'être en vigueur a des implications importantes pour le calendrier de développement de l'AGI.

L'hypothèse de mise à l'échelle est que nous disposons probablement déjà de la plupart des éléments nécessaires pour construire une AGI, et que la majeure partie du travail restant consistera à adapter les méthodes existantes à des modèles et des ensembles de données plus grands.

Si l'ère de la mise à l'échelle est révolue, alors nous devrions probablement nous attendre à ce que l'AGI soit encore plus loin. La validité continue de la loi de mise à l’échelle implique fortement que le calendrier de mise en œuvre de l’AGI deviendra plus court.

Commentaires chauds des internautes

Certains internautes ont plaisanté,

OpenAI : Des réglementations doivent être adoptées pour protéger nos douves. OpenAI a encore une fois mentionné que Meta pisse dans nos douves, ce qui devrait également signifier que nos modèles doivent être open source.

Certaines personnes disent que si GPT-3 est vraiment open source, comme LLMa, il faudra environ 5 jours pour fonctionner sur la puce M1.

Les développeurs de la communauté peuvent aider OpenAI à résoudre le goulot d'étranglement du GPU, à condition qu'ils open source le modèle. D’ici quelques jours, les développeurs pourront l’exécuter sur des processeurs et des appareils périphériques.

Concernant la pénurie de GPU, certains pensent qu'il y a un problème avec la chaîne de capital d'OpenAI et qu'elle ne peut pas se le permettre.

Cependant, certains disent qu'il y a manifestement un manque d'approvisionnement. À moins d’une révolution dans la fabrication de puces, il y aura probablement toujours une offre insuffisante par rapport aux GPU grand public.

Certains internautes doutent que la valeur de Nvidia soit encore sous-estimée ? Le changement radical dans la demande informatique pourrait durer plusieurs années...

Nvidia vient de rejoindre le club des mille milliards de dollars. De cette manière, une demande illimitée en puissance de calcul pourrait créer un monde avec une usine de puces dépassant les 2 mille milliards de dollars américains. dollars.

Référence :

https://www.php.cn/link/c55d22f5c88cc6f04c0bb2e0025dd70b

https://www.php.cn/link/d5776aeecb3c45ab15adce6f5cb355f3

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!