L'humanité a atteint la limite supérieure de l'architecture informatique en silicium ! L’IA devrait consommer 50 % de l’approvisionnement mondial en électricité d’ici 2030

Nous avons commencé à ressentir le sentiment d'atteindre la limite supérieure de l'expérience informatique sur silicium. Au cours des 10 prochaines années, il y aura un grave déficit de puissance de calcul, et ni les entreprises technologiques existantes ni les gouvernements n'ont été en mesure de résoudre ce problème.

De nos jours, nous sommes tellement habitués à ce que l'informatique devienne de moins en moins chère que nous ne doutons jamais qu'un jour nous ne pourrons peut-être plus nous le permettre.

Maintenant, Rodolfo Rosini, PDG d'une startup, pose une question qui nous choque tous : et si nous atteignions les limites physiques fondamentales des modèles informatiques classiques, tout comme notre économie repose sur une informatique bon marché ?

La stagnation de l'informatique à grande échelle

Maintenant, les États-Unis ont atteint un plateau en raison d'un manque d'innovation technologique.

La loi de Wright s'applique dans de nombreuses industries : chaque fois que le processus de fabrication est amélioré d'environ 20 %, la productivité double.

En technologie, cela se manifeste par la loi de Moore.

Dans les années 1960, Gordon Moore, cofondateur d'Intel, a remarqué que le nombre de transistors dans les circuits intégrés semblait avoir doublé d'année en année et a proposé la loi de Moore.

Depuis lors, cette loi est devenue la base du contrat entre le marketing et l'ingénierie, tirant parti de la puissance de calcul excédentaire et de la diminution de la taille pour piloter la construction de produits dans la pile informatique.

On s’attendait alors à ce que la puissance de calcul s’améliore de façon exponentielle au fil du temps grâce à des processeurs plus rapides et moins chers.

Cependant, les différentes forces qui composent la loi de Moore ont changé.

Pendant des décennies, la force motrice derrière la loi de Moore a été la loi d’échelle de Dennard. La taille du transistor et la consommation d'énergie sont simultanément réduites de moitié, doublant la quantité de calcul par unité d'énergie (cette dernière est également connue sous le nom de loi de Koomey).

50 ans de données sur les tendances des microprocesseurs

En 2005, cette mise à l'échelle a commencé à s'effondrer car une fuite de courant provoquait un échauffement de la puce, et avec elle les performances des puces dotées d'un seul cœur de traitement stagnaient.

Pour maintenir la trajectoire de croissance de l'informatique, l'industrie des puces s'est tournée vers des architectures multicœurs : plusieurs microprocesseurs « collés » ensemble. Bien que cela puisse étendre la loi de Moore en termes de densité de transistors, cela augmente la complexité de l'ensemble de la pile informatique.

Pour certains types de tâches informatiques, comme l'apprentissage automatique ou l'infographie, cela apporte des améliorations de performances. Mais pour de nombreuses tâches informatiques générales qui ne sont pas bien parallélisées, les architectures multicœurs sont impuissantes.

En bref, la puissance de calcul pour de nombreuses tâches n'augmente plus de façon exponentielle.

Même en termes de performances des supercalculateurs multicœurs, à en juger par le TOP500 (classement des supercalculateurs les plus rapides au monde), il y a eu un net point d'inflexion vers 2010.

Quels sont les effets de ce ralentissement ? Le rôle croissant que joue l'informatique dans différentes industries montre que l'impact est immédiat et ne fera que s'accentuer à mesure que la loi de Moore s'affaiblira.

Prenons deux exemples extrêmes : l'amélioration de la puissance de calcul et la réduction des coûts ont conduit à une augmentation de 49 % de la productivité de l'exploration pétrolière dans le secteur de l'énergie et à une augmentation de 94 % des prévisions de repliement des protéines dans l'industrie de la biotechnologie.

Cela signifie que l'impact de la vitesse de calcul ne se limite pas à l'industrie technologique : la majeure partie de la croissance économique des 50 dernières années a été des effets de second ordre entraînés par la loi de Moore, et sans elle, l'économie mondiale pourrait cesser de croître.

Une autre raison importante expliquant le besoin de plus de puissance de calcul est la montée en puissance de l’intelligence artificielle. Aujourd’hui, la formation d’un grand modèle linguistique (LLM) peut coûter des millions de dollars et prendre des semaines.

L'avenir promis par l'apprentissage automatique ne peut être réalisé sans une augmentation continue du traitement des nombres et de la mise à l'échelle des données.

À mesure que les modèles d'apprentissage automatique deviennent de plus en plus répandus dans les technologies grand public, annonçant des demandes informatiques énormes, voire hyperboliques, dans d'autres secteurs, un traitement bon marché devient la pierre angulaire de la productivité.

La mort de la loi de Moore pourrait entraîner une grande stagnation de l’informatique. Comparés aux réseaux neuronaux multimodaux qui peuvent être nécessaires pour réaliser l'AGI, les LLM actuels sont encore relativement petits et faciles à former. Les futurs GPT et leurs concurrents auront besoin d’ordinateurs hautes performances particulièrement puissants pour s’améliorer, voire optimiser.

Peut-être que beaucoup de gens auront des doutes. Après tout, la fin de la loi de Moore a été prédite à plusieurs reprises. Pourquoi devrait-il l'être maintenant ?

Historiquement, bon nombre de ces prédictions découlent de défis techniques. L’ingéniosité humaine a surmonté ces obstacles à maintes reprises auparavant.

La différence est désormais que nous ne sommes plus confrontés à des défis d’ingénierie et d’intelligence, mais plutôt à des limitations imposées par la physique.

MIT Technology Review a publié un article le 24 février disant que nous ne sommes pas préparés à la fin de la loi de Moore

Surchauffe entraînant une incapacité à traiter

Les ordinateurs fonctionnent en traitant les informations.

Lorsqu'ils traitent les informations, une partie de celles-ci est supprimée lorsque le microprocesseur fusionne les branches informatiques ou écrase le registre. Ce n'est pas gratuit.

Les lois de la thermodynamique imposent des limites strictes à l'efficacité de certains processus, et elles s'appliquent aux calculs comme aux machines à vapeur. Ce coût est appelé limite de Landauer.

C'est une infime quantité de chaleur émise lors de chaque opération de calcul : environ 10^-21 joules par bit.

Étant donné que cette chaleur est si faible, la limite de Landauer a longtemps été considérée comme négligeable.

Cependant, les capacités d'ingénierie ont désormais progressé au point où cette échelle d'énergie peut être atteinte, car la limite réelle est estimée à 10 à 100 fois supérieure à la limite de Landauer en raison d'autres frais généraux tels que les fuites de courant. Les puces contiennent des centaines de milliards de transistors qui fonctionnent des milliards de fois par seconde.

Ajoutez ces chiffres ensemble, et peut-être que la loi de Moore a encore un ordre de grandeur à croître avant d'atteindre la barrière thermique.

À ce stade, les architectures de transistors existantes ne seront pas en mesure d’améliorer davantage l’efficacité énergétique et la chaleur générée empêchera les transistors d’être plus étroitement emballés.

Si nous ne comprenons pas cela, nous ne pourrons pas voir clairement comment les valeurs de l’industrie vont changer.

Les microprocesseurs seront limités et l’industrie sera en compétition pour obtenir des récompenses moindres en cas d’efficacité énergétique marginale.

La taille des puces augmentera. Regardez la carte GPU de la série 4000 de Nvidia : malgré l'utilisation d'un processus à plus haute densité, elle a à peu près la taille d'un petit chien et contient une énorme puissance de 650 W.

Cela a incité le PDG de NVIDIA, Jensen Huang, à déclarer fin 2022 que « la loi de Moore est morte » – une déclaration qui, bien que généralement vraie, a été démentie par d'autres sociétés de semi-conducteurs.

L'IEEE publie chaque année une feuille de route pour les semi-conducteurs. La dernière évaluation indique que la mise à l'échelle 2D sera achevée en 2028 et que la mise à l'échelle 3D devrait être entièrement lancée en 2031.

La mise à l'échelle 3D (où les puces sont empilées les unes sur les autres) est déjà courante, mais dans la mémoire des ordinateurs, pas dans les microprocesseurs.

Cela est dû au fait que la dissipation thermique de la mémoire est beaucoup plus faible ; cependant, la dissipation thermique est complexe dans l'architecture 3D, le refroidissement actif de la mémoire devient donc important.

Une mémoire avec 256 couches arrive et devrait atteindre la barre des 1 000 couches d'ici 2030.

De retour aux microprocesseurs, les architectures de dispositifs multi-portes qui deviennent des standards commerciaux (comme les FinFET et les Gates-all-round) continueront de suivre la loi de Moore dans les années à venir.

Cependant, en raison de problèmes thermiques inhérents, une véritable mise à l'échelle verticale était impossible après les années 1930.

En fait, les chipsets actuels surveillent attentivement quelles parties du processeur sont actives à tout moment pour éviter une surchauffe même sur un seul plan.

Crise 2030 ?

Il y a un siècle, le poète américain Robert Frost demandait un jour : le monde finira-t-il par le gel ou par le feu

Si la réponse est le feu, cela annonce presque la fin de l'informatique ?

Ou, acceptez simplement le fait que la consommation d’énergie augmentera et intensifiera la fabrication de microprocesseurs.

Pour cela, les humains ont consommé une grande partie de l’énergie terrestre.

Une autre option consiste peut-être simplement à accepter l’augmentation de la consommation d’énergie et à augmenter la fabrication des microprocesseurs. Nous utilisons déjà une grande partie de l’énergie disponible sur Terre à cette fin.

En Irlande, seuls 70 centres de données consomment 14 % de l’énergie du pays. D’ici 2030, on estime que 30 à 50 % de l’électricité produite dans le monde sera utilisée pour l’informatique et le refroidissement.

(Fait intéressant, après la publication du billet de blog le 19 mars, l'auteur a supprimé cette prédiction. Son explication est qu'elle est basée sur la pire inférence de l'article de Nature, par souci de clarté et d'exactitude de argument , qui a maintenant été supprimé)

Le rythme actuel de mise à l'échelle de la production d'énergie entraînera une légère augmentation du coût de la mise à l'échelle de la loi de Moore.

Une série de mesures ponctuelles d’optimisation au niveau de la conception (efficacité énergétique) et de la mise en œuvre (remplacement des anciennes conceptions encore utilisées par les dernières technologies) permettra aux économies en développement comme l’Inde de rattraper la productivité globale du monde.

Après la fin de la loi de Moore, l'humanité sera à court d'énergie avant que la fabrication de puces à microprocesseur n'atteigne ses limites, et le rythme de baisse des coûts informatiques stagnera.

Bien que l'informatique quantique soit présentée comme un moyen efficace de surpasser la loi de Moore, il y a trop d'inconnues à son sujet, et il reste encore des décennies avant qu'elle ne soit utilisée commercialement. Au moins dans les 20 à 30 prochaines années, elle ne sera pas utile.

De toute évidence, il y aura un grave déficit de puissance de calcul au cours des 10 prochaines années, et aucune entreprise technologique, investisseur ou agence gouvernementale existante ne sera en mesure de le résoudre.

La collision entre la loi de Moore et la limite de Landauer dure depuis des décennies et peut être considérée comme l'un des événements les plus importants et les plus critiques des années 2030.

Mais maintenant, il semble que peu de gens soient au courant.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!