Maison  >  Article  >  Périphériques technologiques  >  Zuckerberg soutient fortement l'AGI open source : entraîner entièrement Llama 3, qui devrait atteindre 350 000 H100 d'ici la fin de l'année

Zuckerberg soutient fortement l'AGI open source : entraîner entièrement Llama 3, qui devrait atteindre 350 000 H100 d'ici la fin de l'année

WBOY
WBOYavant
2024-01-19 17:48:17909parcourir

Xiao Zha a annoncé un nouvel objectif : le tout en AGI open source.

Oui, Xiao Zha est à nouveau All in, c'est là que OpenAI et Google doivent rivaliser.

Mais avant AGI, on soulignait qu'elle était Open Source.

小扎All in 开源AGI:正训练Llama 3,年底将有35万块H100Photos

Cette décision a reçu de nombreux éloges, tout comme lorsque la série de grands modèles LIama était open source.

小扎All in 开源AGI:正训练Llama 3,年底将有35万块H100Pictures

小扎All in 开源AGI:正训练Llama 3,年底将有35万块H100Pictures

Mais cette fois, il y a une autre vague de All-in, et les internautes ne peuvent s'empêcher de penser à la vague précédente de All-in : où est passé le Metaverse ? ? ?

小扎All in 开源AGI:正训练Llama 3,年底将有35万块H100Photos

Mais il faut dire que le Drapeau répertorié cette fois est effectivement plus précis et révèle même quelques données clés.

Par exemple,

  • Il y aura 350 000 H100 d'ici la fin de l'année, et en incluant les autres GPU, la puissance de calcul totale sera équivalente à 600 000 H100.
  • L'équipe FAIR travaillera plus étroitement avec l'équipe GenAI.
  • LIama 3 arrive bientôt.

À la fin, il a également mis une petite publicité. Ils construisent de nouveaux appareils informatiques centrés sur l'IA, tels que les lunettes intelligentes Ray Ban Meta.

On dirait que le Metaverse est toujours en cours.

Xiao Zha est à nouveau All in

Maintenant, Xiao Zha a officiellement annoncé sa participation à la bataille AGI.

Bien qu'il n'y ait pas de calendrier clair, en tant que vision à long terme, deux points clés sont clairement énoncés :

Ouvrir le source de manière responsable et le rendre largement disponible afin que chacun puisse en bénéficier.

Pour atteindre cet objectif, il y a deux choses principales :

Premièrement, intégrer étroitement les deux équipes de travail de recherche en IA existantes (FAIR et GenAI).

Selon LeCun, les deux sont devenus frères.

小扎All in 开源AGI:正训练Llama 3,年底将有35万块H100Photos

et a dit, Llama-3 arrive !

Deuxièmement, construire une infrastructure informatique à grande échelle : d'ici la fin de cette année, il y aura 350 000 H100, avec une puissance de calcul totale équivalente à 600 000 H100.

Calculée sur la base d'un prix de vente compris entre 25 000 et 30 000 dollars américains, la valeur totale de la puissance de calcul atteindra 15 à 18 milliards de dollars américains.

Certaines organisations ont déjà prédit que les livraisons de H100 de Nvidia à Meta atteindraient 150 000 unités en 2023, ce qui est la même chose que Microsoft et au moins trois fois celle d'autres sociétés.

Pour cette raison, Xiao Zha a déclaré que nous avons établi des capacités qui peuvent être plus grandes que n'importe quelle autre entreprise individuelle.

Certains internautes ont calculé la puissance de calcul et ont déclaré : des modèles de la taille d'un cerveau arriveront bientôt.

小扎All in 开源AGI:正训练Llama 3,年底将有35万块H100Photos

Cependant, certaines personnes se demandent si Nvidia ne devrait pas être capable d'en produire autant.

小扎All in 开源AGI:正训练Llama 3,年底将有35万块H100Photos

Mais un leader du Meta s'est manifesté et a déclaré : H100 représente 350 000 yuans au total, y compris celui actuel.

小扎All in 开源AGI:正训练Llama 3,年底将有35万块H100Photos

De plus, les progrès sur l'équipement matériel sont également soulignés.

Ce que les grands ont dit à propos d'AGI

Avant que Xiao Zha n'annonce la nouvelle, de nombreux grands ont fait de nombreux commentaires sur AGI lors du Forum économique mondial de Davos.

LeCun, par exemple, a souligné l'importance de l'open source dans le parcours de mise en œuvre de l'AGI sur le forum The Expanding Universe of Generative Models.

La raison pour laquelle nous constatons des progrès si rapides dans le domaine de l’intelligence artificielle est due à la recherche ouverte.

Même s'il a souvent exprimé des doutes quant à l'arrivée prochaine d'AGI (certainement pas dans les cinq prochaines années), AGI est arrivé.

小扎All in 开源AGI:正训练Llama 3,年底将有35万块H100Pictures

Et le créateur de Transformer, Aidan Gomez, a déclaré :

Actuellement, nous n'avons pas terminé l'agrandissement, nous devons encore continuer à travailler dur.

Quant au PDG d'OpenAI, Altman, il a déclaré que l'intelligence artificielle au niveau humain arriverait bientôt, mais que le changement dans le monde serait bien moindre que ce que nous avions imaginé.

L'intelligence générale artificielle (IAG) pourrait être développée dans un "futur assez proche".

Que pensez-vous du développement d’AGI ?

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration:
Cet article est reproduit dans:. en cas de violation, veuillez contacter admin@php.cn Supprimer