AI는 기상이변을 5,000배 더 빠르게 예측합니다! 마이크로소프트, AI의 눈으로 글로벌 폭풍 예측하는 오로라 출시
- WBOY원래의
- 2024-06-11 09:07:29810검색
인류 역사 초기부터 우리는 다양한 방법으로 날씨를 예측하고 '하늘의 언어'를 해독하는 데 집착해 왔습니다. 식물과 구름이 날씨에만 연관되어 있는 것 같지는 않습니다. 인간의 생산이 필요하기 때문에, 강한 바람에 노래하고 달빛 아래에서 시를 낭송하는 것도 인간의 필요입니다.
'얼음과 불의 노래'의 폭풍우 가수는 노래와 구호를 통해 날씨와 폭풍을 예측하고, 사람들은 '날씨를 바꾸는' 초능력을 갖고 싶어하기도 합니다.
최근 날씨 전문가와 일기예보로 인해 우리는 체화된 경험과 물리적 세계에서 벗어날 수 없게 되었지만, 이제는 AI가 상황을 바꾸어 놓았습니다.
미세하게 조정된 콘텐츠: 마이크로소프트(MS)가 데이터로부터 학습하고 예측을 할 수 있는 자사 최초의 대규모 대기 기본 모델인 오로라(Aurora)를 출시해 놀라운 정확성과 효율성을 보여줬다.
변화는 한 회사만의 것이 아니라 글로벌하게 이루어집니다.
세계 최고의 수치 일기예보 기관인 유럽 중거리 일기예보 센터는 매우 풍부한 데이터 세트를 유지 관리하여 AI 일기예보를 위한 강력한 데이터 지원을 제공합니다. 이 데이터 세트에는 유럽 및 주변 국가 및 지역의 대기, 해양, 육지 등에 대한 다차원 데이터 정보가 포함되어 있습니다. 이러한 데이터는 주의 깊게 관찰, 분석 및 모델링되어
미래에는 컴퓨터가 물리학 없이도 글로벌 "변화"를 포착할 수 있을 것입니다.
이미 AI를 사용하여 세계 날씨를 예측할 수 있다면 지구를 "모델링"하는 것이 훨씬 뒤처지게 될까요?
Microsoft는 최초의 대규모 대기 기본 모델을 출시합니다
극한 기상 현상은 전 세계적으로 자주 발생하며, 갑작스러운 폭풍에 직면하면 인간은 특히 작아 보입니다.
사람들은 항상 기상 이변에 대해 걱정하고 있으며, 이는 현재 일기 예보 모델의 한계를 드러내고 기후 변화에 직면하여 보다 정확한 예측의 필요성을 강조합니다.
급박한 질문이 제기됩니다. 이러한 극단적인 기상 현상을 어떻게 더 잘 예측하고 대비할 수 있습니까?
Charlton Perez와 다른 사람들의 최근 연구는 폭풍의 급속한 강화와 최대 풍속을 포착하는 데 있어 가장 발전된 인공 지능 날씨 예측 모델이 직면하는 어려움을 강조합니다.
이러한 과제를 해결하기 위해 Microsoft 연구팀은 대량의 대기 데이터에서 귀중한 통찰력을 추출할 수 있는 최첨단 인공 지능 기반 모델인 "오로라"를 의미하는 Aurora를 개발했습니다.
Pictures
문서 주소: https://www.microsoft.com/en-us/research/publication/aurora-a-foundation-model-of-the-atmosphere/
Aurora 기상이변의 영향을 예측하고 완화하는 능력을 변화시킬 수 있는 기상 예측에 대한 새로운 접근 방식을 제공합니다.
유연한 3D 대기 기본 모델
Pictures
오로라 사전 훈련 시, Aurora는 해상도, 변수 및 압력 수준이 서로 다른 여러 이기종 데이터 세트에서 성능을 최대화하도록 최적화되어 있습니다. 손실을 최소화합니다. 모델은 두 단계로 미세 조정됩니다. (1) 짧은 시간 내에 사전 훈련된 가중치를 미세 조정합니다. (2) LoRA(낮은 순위 적응성)를 사용하여 긴 리드 타임(롤아웃) 미세 조정을 수행합니다. 미세 조정된 모델은 다양한 해상도에서 다양한 운영 예측 상황을 처리하는 데 사용됩니다.
매개변수 크기는 1.3B에 불과하지만 Aurora는 백만 시간 이상의 다양한 날씨 및 기후 시뮬레이션을 통해 훈련되었습니다. 대기 역학에 대한 포괄적인 이해.
따라서 모델은 데이터가 부족한 지역이나 극한 기상 조건에서도 다양한 예측 작업을 훌륭하게 수행할 수 있습니다.
0.1°(적도에서 약 11km)의 높은 공간 해상도에서 작동함으로써 Aurora는 대기 과정의 복잡한 세부 사항을 포착할 수 있으며 전통적인 가치 일기예보 시스템의 작은 부분.
연구원들의 추정에 따르면 오로라의 계산 속도는 수치 예측 시스템 세계의 SOTA인 통합 예측 시스템(IFS)에 비해 약 5,000배 향상됩니다.
놀라운 정확성과 효율성 외에도 Aurora는 다용도성이 뛰어납니다.
이 모델은 온도와 풍속부터 대기 오염 수준, 온실가스 농도까지 광범위한 대기 변수를 예측할 수 있습니다.
Aurora는 이기종 표준 입력을 처리하고 다양한 해상도와 충실도 수준에서 예측을 생성하도록 설계되었습니다.
이 모델은 공간과 압력 수준에 걸쳐 다양한 대기 변수를 처리하고 예측할 수 있는 유연한 3D Swin Transformer와 Perceiver 기반 인코더 및 디코더로 구성됩니다.
다양한 양의 데이터에 대한 사전 훈련과 특정 작업에 대한 미세 조정을 통해 Aurora는 대기의 복잡한 패턴과 구조를 포착하는 방법을 학습하므로, 미세 조정하면 제한된 훈련 데이터로도 잘 작동할 수 있습니다. 특정 작업.
대기 화학 및 대기 오염을 빠르게 예측
Pictures
Aurora는 다양한 목표에서 CAMS 실행 성능을 능가합니다. (a) Aurora는 2개의 산화질소 컬럼 총 샘플을 예측합니다. (b) 위도 가중치 CAMS에 비해 오로라의 RMSE(제곱평균제곱근 오차), 음수 값(파란색)은 오로라가 더 좋다는 의미입니다
대기 화학, 날씨 패턴 및 인간 활동의 차이로 인해 코페르니쿠스의 복잡한 상호 작용 및 높은 이질성 대기 모니터링 서비스(CAMS) 데이터를 사용하면 이를 매우 어려운 작업으로 만들 수 있습니다.
Aurora는 유연한 인코더-디코더 아키텍처와 주의 메커니즘을 활용하여 이러한 까다로운 데이터를 효율적으로 처리하고 학습하여 대기 오염 물질의 고유한 특성과 기상 변수와의 관계를 포착합니다.
이를 통해 Aurora는 0.4° 공간 분해능으로 정확한 5일 전 세계 대기 오염 예측을 생성할 수 있으며, 모든 대상의 74%에 대한 최첨단 대기 화학 시뮬레이션 성능을 능가하고 다양한 환경을 해결할 수 있는 능력을 입증합니다. 데이터가 희박하거나 매우 복잡한 경우에도 문제를 예측할 수 있는 탁월한 적응성과 잠재력이 있습니다.
데이터 다양성과 모델 확장으로 대기 예측이 향상됩니다.
또한 연구에서는 다양한 데이터 세트에 대한 사전 교육이 단일 데이터 세트에 대한 교육에 비해 Aurora의 성능이 크게 향상되는 것으로 나타났습니다.
기후 시뮬레이션, 재분석 제품 및 운영 예측의 데이터를 통합함으로써 Aurora는 대기 역학에 대한 보다 강력하고 다양한 표현을 학습할 수 있습니다.
Aurora가 다양한 작업과 해결 방법에서 최첨단 수치 날씨 예측 모델과 특수 딥 러닝 방법을 능가할 수 있는 것은 바로 그 크기와 다양한 사전 훈련 데이터 세트 때문입니다. ㅋㅋㅋ
Aurora의 규모는 아키텍처 설계, 훈련 데이터 코퍼스, 사전 훈련 및 미세 조정 프로토콜 측면에서 최고의 전문 딥 러닝 모델보다 더 나은 성능을 직접적으로 가져옵니다. 
또한 연구원들은 IFS HRES(수치적 날씨 예측의 최적 표준)도 비교에 포함했습니다.
분석 결과, 기상 관측소 관측 및 극한 값을 비교할 때 Aurora가 GraphCast와 IFS HRES 모두보다 우수한 것으로 나타났습니다.
Pictures
Pictures
Pictures
Aurora는 대다수의 대상에서 GraphCast를 능가합니다
A 지구 시스템 모델링의 변화
오로라의 영향력은 멀리까지 갑니다 대기 예측을 넘어
이 연구는 지구과학의 기본 모델의 힘을 입증함으로써 지구 시스템 전체를 포괄하는 종합 모델 개발의 길을 열었습니다.
데이터가 부족한 다운스트림 작업에서 탁월한 기본 모델의 능력은 개발도상국 및 극지방과 같이 데이터가 부족한 지역에서 정확한 기상 및 기후 정보에 대한 접근을 민주화할 것입니다.
이는 농업, 운송, 에너지 수확, 재해 대비 등의 분야에 지대한 영향을 미쳐 지역사회가 기후 변화로 인한 문제에 더 잘 적응할 수 있게 해줍니다.
물리학이 필요하지 않나요? AI 일기예보의 엄청난 발전
토네이도처럼 변화가 너무 빨리 다가오고 있어 일기예보 커뮤니티가 큰 변화를 겪고 있습니다.
궁극적인 목표는 혁명적입니다. 새로운 AI 기반 방법을 사용하면 데스크톱 컴퓨터에서 일기 예보를 실행할 수 있습니다!
지난 18개월 동안 일기예보는 가장 유망한 AI 애플리케이션 중 하나가 되었으며, 최근의 발전은 기상학계에 큰 반향을 불러일으켰습니다.
이것은 비밀 무기 덕분입니다: 엄청나게 풍부한 데이터 세트.
세계 최고의 수치 일기예보 기관인 ECMWF(유럽 중거리 기상예보 센터)는 매일 전 세계에서 몇 시간마다 기록되는 대기, 육지 및 해양 날씨에 대한 일련의 데이터 세트를 유지 관리합니다. 데이터는 1940년까지 거슬러 올라갑니다.
Pictures
지난 50년간의 데이터, 특히 글로벌 위성 커버리지 이후의 데이터는 특히 풍부합니다. 이 데이터 세트는 ERA5라고 하며 공개적으로 사용 가능합니다.
ERA5는 인공지능 애플리케이션을 위해 특별히 제작된 것은 아니지만 ERA5는 인공지능 날씨 애플리케이션 개발에 큰 역할을 해왔습니다.
컴퓨터 과학자들은 2022년까지 날씨를 예측하기 위해 인공 지능 모델을 훈련시키기 위해 이 데이터를 진지하게 사용하기 시작하지 않을 것입니다.
그 이후로 기술은 비약적으로 성장했습니다. 어떤 경우에는 모델의 출력이 이미 과학자들이 수십 년 동안 설계하고 구축했으며 이를 실행하려면 세계에서 가장 강력한 슈퍼컴퓨터가 필요한 지구 기상 모델보다 더 낫습니다.
유럽 기상 센터 ECMWF의 인공 지능 예측 업무 책임자인 Matthew Chantry는 인터뷰에서 "머신러닝이 미래 일기 예보의 중요한 부분임은 분명합니다."라고 말했습니다.
ECMWF에서 모집하고 있습니다. 머신러닝의 지구 시스템 시뮬레이션을 기반으로 인재 육성
AI 기상예보의 유래
신경망 기반 딥러닝 기법을 활용한 기상예보에 대한 초기 학술 연구는 약 6년 전부터 시작되었습니다.
처음에 컴퓨터 과학자들은 이 접근 방식이 수십 년에 걸쳐 개발된 일기 예보 과학과 너무 다르기 때문에 효과가 있을지에 대해 그다지 낙관하지 않았습니다.
이제 2022년이 되었습니다. 사람들은 마침내 AI 모델에 대한 의구심을 내려놓았습니다.
먼저 물리학자이자 데이터 과학자인 Ryan Keisler는 "그래프 신경망"을 사용하여 몇 가지 예비 결과를 보여주었습니다.
논문 주소: https://arxiv.org/abs/2202.07575
이후 중국 과학자들이 제안한 '판구-날씨' 모델이 네이처에 직접 등재되었습니다.
결과에 따르면 어떤 경우에는 오늘날 가장 강력한 물리학 기반 모델인 ECMWF를 능가하기도 합니다.
Pictures
문서 주소: https://www.nature.com/articles/s41586-023-06185-3
딥 러닝 기술과 날씨 모델링을 사용하는 과학자 커뮤니티입니다. 그것은 충격을 일으켰습니다.
곧 유럽 과학자들이 다른 딥러닝 모델의 연구 결과를 기반으로 운영 모델을 만들기 시작하는 데는 그리 오랜 시간이 걸리지 않았습니다.
지난해 말까지 새로운 인공지능 통합예보시스템(AIFS)은 '매우 유망한' 결과를 낳았습니다. 올 봄, 유럽 예보관들은 실시간 예측을 발표하기 시작했습니다.
현재 물리학 기반 기상 모델은 여전히 필수입니다. 이는 주요 사건에 대한 5일, 7일, 때로는 10일 일기 예보를 생성하는 능력을 크게 향상시키는 매우 강력한 도구이며 전 세계 예보관의 신뢰를 받고 있습니다.
그런데 미래는 어떤 모습일까요? 아마도 10년 후에는 AI가 기상 분야의 모든 것을 담당하게 될 것입니다.
참고자료:
위 내용은 AI는 기상이변을 5,000배 더 빠르게 예측합니다! 마이크로소프트, AI의 눈으로 글로벌 폭풍 예측하는 오로라 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!