Le grand modèle de Huawei apparaît dans le numéro officiel de Nature ! Reviewer : laissez les gens réexaminer l'avenir des modèles de prévision

10 000 fois plus rapide que les méthodes traditionnelles, il ne faut que 1,4 seconde pour établir des prévisions météorologiques mondiales sur 24 heures - cela vient du Pangu Weather Model de Huawei Cloud.

Aujourd'hui, il a été publié dans Nature. Il s'agirait du premier article officiel de Nature publié ces dernières années avec une entreprise technologique chinoise comme seule unité de signature (c'est-à-dire l'unique auteur de Huawei Cloud) .

Photos

Les critiques lui ont fait l'éloge de ce modèle. Ce modèle permet aux humains de réexaminer l'avenir des modèles de prévisions météorologiques.

L'implication est qu'avec cela, les méthodes traditionnelles d'origine ne sont plus parfumées.

Photos

Alors, comment a-t-il été développé exactement ? Quels défis clés ont été résolus ? Quels sont les résultats et applications spécifiques ?

Suivez cet article et découvrez tout cela.

Résoudre le problème de la précision insuffisante des modèles de prévisions météorologiques IA existants

Depuis les années 1920, en particulier au cours des trois dernières décennies, avec le développement rapide de la puissance de calcul, les prévisions météorologiques numériques traditionnelles ont été utilisées dans les prévisions météorologiques quotidiennes et les avertissements de catastrophes extrêmes. , et le changement climatique. De grands succès ont été obtenus dans des domaines tels que la prévision du changement.

Cependant, à mesure que la croissance de la puissance de calcul ralentit et que le modèle physique devient progressivement plus complexe, le goulot d'étranglement de cette méthode devient de plus en plus important.

Les chercheurs ont donc commencé à explorer de nouveaux paradigmes de prévision météorologique, tels que l'utilisation de méthodes d'apprentissage profond pour prédire le temps futur.

L'équipe R&D de Huawei Cloud a commencé des recherches dans ce domaine il y a 2 ans.

Ils ont constaté que dans les domaines où les méthodes numériques sont les plus largement utilisées, comme la prévision à moyen et long terme, la précision des méthodes de prévision de l'IA existantes est encore nettement inférieure à celle des méthodes de prévision numérique et est limitée par des problèmes tels que le manque de interprétabilité et prévisions météorologiques extrêmes inexactes.

Il y a deux raisons principales pour lesquelles la précision du modèle de prévision météorologique de l'IA est insuffisante :

Premièrement, les modèles de prévision météorologique de l'IA existants sont basés sur des réseaux de neurones 2D et ne peuvent pas être bien traités. Données météorologiques 3D ;

Deuxièmement, la méthode d'IA manque de contraintes de mécanismes mathématiques et physiques, donc les erreurs d'itération continueront de s'accumuler pendant le processus d'itération.

Ici, les chercheurs de Huawei Cloud ont proposé

3D Earth-Specific Transformer (3DEST) pour traiter des données météorologiques 3D inégales complexes, créant ainsi un modèle météorologique Pangu à grande échelle.

L'idée principale est d'utiliser une variante 3D du transformateur visuel pour gérer des éléments météorologiques complexes non uniformes, et d'utiliser la

stratégie d'agrégation temporelle hiérarchique pour entraîner 4 modèles avec différents intervalles de prévision ( respectivement intervalle de 1 heure, intervalle de 3 heures, intervalle de 6 heures, intervalle de 24 heures) , qui minimise le nombre d'itérations pour prédire les conditions météorologiques à un moment précis, réduisant ainsi les erreurs d'itération et évitant la consommation de ressources d'entraînement causée par l'entraînement récursif. Pour entraîner chaque modèle, les chercheurs ont utilisé des données météorologiques de 1979 à 2021, échantillonnées toutes les heures et entraînées pendant 100 époques.

Chaque modèle doit être formé sur 192 cartes graphiques V100 pendant 16 jours. En fait, même après 100 époques, ces modèles n’ont toujours pas complètement convergé.

En d’autres termes, avec des ressources informatiques plus suffisantes, la précision des prévisions de l’IA peut être encore améliorée.

Dans le raisonnement final, le modèle météorologique de Pangu n'a besoin que de 1,4 secondes pour fonctionner sur une carte graphique V100 pour compléter les prévisions météorologiques mondiales sur 24 heures, y compris le géopotentiel, l'humidité, la vitesse du vent, la température, la pression au niveau de la mer, etc., y compris horizontales. résolution spatiale Le taux atteint 0,25∘×0,25∘, la résolution temporelle est de 1 heure, couvrant 13 couches verticales et peut prédire avec précision les caractéristiques météorologiques à grain fin.

En tant que première méthode d'IA dont la précision dépasse celle des méthodes de prévision numérique traditionnelles, sa vitesse de calcul est plus de 10 000 fois supérieure à celle des prévisions numériques traditionnelles.

Peut être directement appliqué à plusieurs scénarios en aval

En mai de cette année, la direction du typhon « Mawa » a reçu une large attention.

L'Administration météorologique centrale a déclaré que le grand modèle Huawei Cloud Pangu avait bien fonctionné pour prédire la trajectoire de "Mawa", prédisant sa trajectoire de détournement dans les eaux orientales de l'île de Taiwan cinq jours à l'avance.

PhotosLors du 19e Congrès météorologique mondial, l'Agence météorologique européenne a également souligné que le modèle météorologique Huawei Cloud Pangu possède une précision indéniable. Le modèle de prévision météorologique IA purement basé sur les données a démontré des capacités de prévision comparables à celles-ci. des modèles numériques opérationnels du Centre européen pour les prévisions météorologiques à moyen terme.

Florence Habie, directrice du Centre européen pour les prévisions météorologiques à moyen terme, a démontré en détail la comparaison d'inspection opérationnelle en temps réel entre le modèle météorologique Huawei Cloud Pangu et le Centre européen pour les prévisions météorologiques à moyen terme :

Afin d'explorer la capacité de l'IA à capturer des conditions météorologiques extrêmes, nous avons étudié un cas en Finlande en février de cette année, lorsqu'une vague de froid de -29°C a été observée. Nous avons constaté que Pangu avait reconnu plus tôt la gravité de cet événement.

Photos

Florence Habiye a également souligné que la méthode de prévision de l'IA consomme moins de ressources et offre des opportunités importantes aux pays en développement car elle ne nécessite plus de ressources de calcul intensif à grande échelle et offre également des opportunités d'amélioration. Les capacités de prévision mondiales fournissent un opportunité rare.

Quant à Huawei Cloud qui a choisi le domaine des prévisions météorologiques par l'IA comme une « percée », d'une part, les prévisions météorologiques, en particulier la prévision précise des conditions météorologiques extrêmes telles que les fortes pluies, les typhons, les sécheresses et les vagues de froid, sont liées à D'un autre côté, les prévisions météorologiques sont très complexes. L'IA peut exploiter de nouveaux modèles d'évolution atmosphérique à partir de données massives et présente un énorme potentiel d'amélioration en termes de précision et de rapidité.

Il est entendu que le plan stratégique de l'OMM 2024-2027 qui sera publié par l'Organisation météorologique mondiale (OMM) a absorbé les éléments de l'intelligence artificielle, ce qui en fait une force importante dans la promotion du développement de la science et de la technologie météorologiques.

L'OMM promouvra également activement l'application de démonstration de l'IA dans les domaines de la prévision immédiate et de la prévision météorologique numérique, créera une plate-forme internationale de comparaison pour les applications de produits d'intelligence artificielle, formulera des normes et des lignes directrices pour les applications météorologiques de l'IA, promouvra le partage d'ensembles de données d'intelligence artificielle et d'autres travaux connexes, et explorer et exploiter le potentiel d'application de l'IA dans le domaine météorologique pour soutenir efficacement l'initiative nationale d'alerte précoce.

Trois clés pour l'avenir

Enfin, comment l'équipe Huawei Cloud Pangu Weather Model voit-elle l'avenir des prévisions météorologiques par l'IA ?

La réponse est trois clés :

First, Big Data. D'énormes données météorologiques constituent la pierre angulaire des modèles d'IA. Actuellement, le modèle météorologique à grande échelle de Pangu n'utilise qu'une partie des données de réanalyse ERA5. Les futurs modèles d'IA seront basés sur des données d'observation mondiales massives et plus raffinées.

Deuxièmement, Grande puissance de calcul. L'ultra haute résolution des données météorologiques pose un énorme défi pour la formation des modèles d'IA. La résolution d'entrée actuelle du modèle météorologique de Pangu est de 1 440 × 720 × 14 × 5, par rapport à la résolution couramment utilisée de 224 × 224 × 3. tâches de vision informatique. Environ 500 fois. À mesure que la résolution augmente et que le modèle se développe, les ressources informatiques requises augmenteront également rapidement.

Enfin, Le grand modèle . Les lois météorologiques complexes, l’ultra-haute résolution et l’énorme quantité de données déterminent que les prévisions météorologiques par l’IA nécessitent l’utilisation de modèles d’IA avec des coûts de calcul extrêmement élevés. Dans le même temps, si vous souhaitez itérer en permanence le principal modèle de prévision météorologique IA, un environnement cloud stable, une suite de travail ainsi que l'exploitation et la maintenance correspondantes sont également essentiels.

Adresse papier : https://www.nature.com/articles/s41586-023-06185-3

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!