ML은 과학적 발견을 어떻게 수행하나요? 옥스포드 대학의 268페이지 분량의 박사 논문은 과학적 기계 학습의 의미를 자세히 설명합니다.

머신러닝(ML)은 우리가 과학을 실천하는 방식에 근본적인 변화를 가져왔고, 현재 많은 사람들이 데이터 학습을 연구의 초점으로 삼고 있습니다. 우리가 연구하려는 과학적 질문의 복잡성이 증가하고 오늘날의 과학 실험에서 생성되는 데이터의 양이 증가함에 따라 ML은 기존 워크플로를 자동화하고 가속화하며 향상시키는 데 도움을 줍니다. 이 혁명의 최전선에는 SciML(과학 기계 학습)이라는 분야가 있습니다. SciML의 핵심 목표는 기존 과학적 이해를 ML과 더욱 긴밀하게 통합하여 사전 지식을 바탕으로 강력한 ML 알고리즘을 생성하는 것입니다.

논문 주소: https://ora.ox.ac.uk/objects/uuid:b790477c-771f-4926-99c6-d2f9d248cb23

현재 수 과학적 원리에 ML 접근 방식이 통합됨에 따라 SciML이 과학의 가장 큰 과제 중 일부를 해결할 것이라는 기대가 커지고 있습니다. 그러나 이 분야는 호황을 누리고 있으며 여전히 많은 질문이 제기되고 있습니다. 주요 질문은 SciML 방법을 보다 복잡한 실제 문제로 확장할 수 있는지 여부입니다. 많은 SciML 연구는 기술이 축소되고 간단한 문제에 대해 테스트되는 개념 증명 단계에 있습니다. 그러나 더 복잡한 문제에 대한 확장성을 이해하는 것은 광범위한 적용을 위해 중요합니다. 이 질문이 이 글의 핵심 질문이다.

먼저, 다양한 물리학 기반 기계 학습 방법을 설계하고 달 과학 및 지구물리학 분야의 세 가지 복잡한 실제 도메인별 사례 연구에 대해 성능과 확장성을 평가합니다. 둘째, 넓은 영역과 고주파 솔루션을 사용하여 미분 방정식을 풀기 위한 널리 사용되는 범용 SciML 방법인 물리 기반 신경망의 확장성을 평가하고 개선합니다. 이러한 연구에서 공통적으로 관찰된 사항이 논의되고 중요한 장점과 잠재적 한계가 식별되어 확장 가능한 SciML 기술 설계의 중요성이 강조됩니다.

소개

머신러닝(ML)은 과학 분야에 혁명을 일으켰습니다. 전통적으로 과학 연구는 이론과 실험을 중심으로 진행됩니다. 손으로 직접 만들고 잘 정의된 이론을 제안한 다음 실험 데이터를 사용하여 이를 지속적으로 개선하고 분석하여 새로운 예측을 내립니다. 그러나 오늘날 많은 사람들은 데이터를 통한 학습을 ​​연구의 초점으로 삼고 있습니다. 여기서는 ML 알고리즘을 통해 데이터로부터 세계의 모델을 학습하므로 기존 이론이 필요하지 않습니다. 이러한 변화는 다양한 이유로 발생합니다.

첫째, ML 분야는 지난 10년 동안 기하급수적인 성장을 경험했으며, 이러한 급증의 주요 동인은 종종 딥 러닝의 획기적인 발전에 기인합니다[Goodfellow et al., 2016]. 더 심층적인 네트워크 설계, 더 나은 훈련 알고리즘의 사용, 더 강력한 컴퓨팅 아키텍처의 사용과 같은 중요한 발견으로 인해 광범위한 문제에 대한 딥 러닝 기술의 성능이 급속히 향상되었습니다 [Dally et al., 2021] . 최신 ML 알고리즘은 이제 자율 주행 자동차[Schwarting et al., 2018]부터 세계적 수준의 바둑 선수를 이기는 것[Silver et al., 2018]에 이르기까지 매우 복잡한 작업을 학습하고 해결할 수 있습니다.

이러한 발전과 함께 오늘날의 과학 실험은 점점 더 많은 데이터를 생성하고 점점 더 복잡한 현상을 연구합니다 [Baker et al., 2019, Hey et al., 2020]. 이 모든 데이터에 대한 분석과 이론화는 인간과 전통적인 작업 흐름으로는 빠르게 불가능해지고 있으며, 곧 과학 실험은 어떤 데이터를 수집할 수 있는지가 아니라 이미 가지고 있는 데이터에서 통찰력을 추출하는 능력으로 인해 제한될 수 있습니다. 외, 2019]. ML이 제공할 수 있는 강력한 도구를 고려하여 많은 연구자들이 ML을 활용하여 기존 워크플로를 자동화, 가속화, 향상하고 있습니다. 지난 10년 동안 새로운 ML 알고리즘과 데이터 가용성의 결합으로 몇 가지 중요한 과학적 발전이 이루어졌습니다. 예를 들어, ML은 그 어느 때보다 더 정확하게 단백질 구조를 예측하고[Jumper et al., 2021], 신경 활동으로부터 음성을 합성하고[anummanchipalli et al., 2019], 양자 다체 시스템의 시뮬레이션을 개선하는 데 사용되었습니다[Carleo 및 트로이어, 2017]. 실제로 현대 ML 알고리즘은 이제 과학의 거의 모든 측면에 적용되고 있으며 이 시대의 정의적인 연구 질문 중 하나는 "문제 X를 해결하고 여기에 ML을 적용하는 것"이 ​​되었으며 그 결과 흥미롭고 종종 흥미로운 결과가 나왔습니다.

그러나 이러한 발전에도 불구하고 ML의 다양한 단점, 특히 딥러닝 알고리즘은 ML 분야에서 구체화되었습니다. 예를 들어, 매우 복잡한 현상을 학습하는 능력에도 불구하고 심층 신경망은 세상을 표현하고 추론하는 방법에 대한 이해가 부족한 "블랙 박스"로 간주되는 경우가 많습니다. 이러한 해석 불가능성은 특히 네트워크 예측 시연이 필요한 안전이 중요한 애플리케이션의 경우 중요한 문제입니다[Gilpin et al., 2019, Castelvecchi, 2016]. 게다가 특정 작업에 적합한 딥러닝 알고리즘을 설계하는 방법에 대한 이론적 지침도 거의 없습니다. 심층 신경망 아키텍처의 선택은 대체로 경험적이지만, 메타 학습 및 신경 아키텍처 검색 분야는 보다 자동화된 접근 방식을 제공하기 시작했습니다[Elsken et al., 2019, Hospedales et al., 2021]. 마지막으로, 심층 신경망은 표현력이 뛰어나지만 훈련 데이터에 의해 제한되고 훈련 분포 외부에서는 제대로 수행되지 않는 경우가 많습니다. 새로운 작업을 잘 수행하는 일반화 가능한 세계 모델을 학습하는 것은 보다 일반적인 인공 지능(AI) 시스템의 핵심 기능이자 ML 분야의 핵심적이고 뛰어난 과제입니다[Bengio et al., 2021].

과학적 문제에 ML을 사용할 때 연구자들은 이러한 한계에 직면하기 시작합니다[Ourmazd, 2020, Forde 및 Paganini, 2019]. 심층 신경망의 일반화 기능이 좋지 않다는 점을 고려할 때 중요한 질문은 실제로 과학적 원리를 "학습"하는지 여부입니다. 좋은 과학 이론은 실험 데이터 외부에서 새롭고 정확한 예측을 기대하지만, 심층 신경망은 훈련 데이터 외부에서 정확한 예측을 하기가 어렵습니다. 네트워크가 신뢰할 수 있는 예측을 할 수 있더라도 해석이 불가능하기 때문에 의미 있는 과학적 통찰력을 추출하는 것은 어려울 수 있습니다.

또 다른 주요 문제는 현재의 많은 기계 학습 워크플로가 기존 과학 모델을 학습된 모델로 완전히 대체한다는 것입니다. 이것이 유용할 수 있지만, 이러한 순전히 데이터 기반 방법은 우리의 많은 양의 이전 과학 지식을 "버릴" 수 있습니다.

중요한 점은 많은 문제에 대해 처음부터 시작하기보다는 구축할 기존 이론이 있다는 것입니다. 전통적으로 명시적 이론과 실험 사이의 긴밀한 상호 작용을 기반으로 해 온 분야에서는 위의 제한으로 인해 현재의 ML 방법이 용납되지 않는다고 주장하는 사람들도 있습니다. 이러한 우려로 인해 SciML(과학 기계 학습)이라는 빠르게 성장하는 새로운 분야가 형성되었습니다. [Baker et al., 2019, Karniadakis et al., 2021, Willard et al., 2020, Cuomo et al., 2022, Arridge et al. al., 2019, Karpatne et al., 2017a]. SciML의 목표는 그림 1.1에 표시된 것처럼 기존 과학 지식과 ML을 융합하여 사전 지식을 바탕으로 보다 미묘한 ML 알고리즘을 생성하는 것입니다. 이 분야의 핵심 주장은 이렇게 함으로써 결국 과학 연구를 수행하기 위한 더욱 강력한 방법을 얻게 될 것이라는 것입니다. 기존 방법과 ML 방법은 각각 장단점이 있으며 둘을 조합하면 둘 중 하나보다 더 효과적일 수 있습니다. 예를 들어, 데이터 동화(예: 기후 모델)를 수행할 때 기존 물리적 모델을 사용하여 사전 지식을 제공할 수 있는 반면 ML은 데이터 종속성 및 기타 알려지지 않은 물리학을 설명하는 데 사용할 수 있습니다.

그림 1.1: 과학 기계 학습(SciML) 개요. SciML은 과학 연구를 위한 보다 강력하고 강력하며 해석 가능한 ML 방법을 생성하기 위해 ML과 과학적 지식을 긴밀하게 통합하는 것을 목표로 합니다.

이 분야에 대한 기대가 급속도로 커지고 있으며, 현재 과학적 지식을 ML에 접목하기 위한 수많은 방법과 혁신적인 전략이 제안되고 연구되고 있습니다. 이러한 방법은 의도된 과학적 작업(예: 시뮬레이션, 반전 및 지배 방정식 발견)부터 과학적 원리를 통합하는 다양한 방법(예: 심층 신경망 아키텍처, 손실 함수 및 하이브리드 모델 사용), 과학적 원리를 통합하는 방법까지 다양합니다. 원칙이 부과되는 정도(예: 하드 또는 소프트 제약을 통해). 우리는 2장에서 이러한 방법들을 자세히 검토할 것이다. 많은 방법에서는 물리학의 아이디어를 사용하여 PIML(Physical-Informed Machine Learning)이라는 SciML의 하위 분야에서 ML 알고리즘에 정보를 제공합니다[Karniadakis et al., 2021].

지금까지 SciML은 초기에 약간의 성공을 거두었습니다. 이는 강력한 시뮬레이션을 수행하고[Raissi al., 2019], 복잡한 물리적 시스템의 지배 방정식을 발견하고[Kutz 및 Brunton, 2022], 역전 문제의 기본 매개변수를 정확하게 반전시키고[Arridge et al., 2019], 원활하게 통합하는 데 도움이 됩니다. 광범위한 도메인에 걸쳐 학습된 구성 요소를 사용하는 전통적인 워크플로[Rackauckas et al., 2020, Thuerey et al., 2021]. 초기 약속에도 불구하고 SciML 분야는 아직 초기 단계에 있으며 다음과 같은 많은 중요한 질문이 제기됩니다. 과학적 원리를 어떻게 구현해야 할까요? 데이터 기반 모델의 해석 가능성 부족과 기존 이론의 명확성을 어떻게 균형을 맞춰야 할까요? 과학 분야 전반에 적용할 수 있는 중요한 SciML 기술이 있습니까? SciML이 ML 분야에 대한 새로운 관점과 아이디어를 제공할 수 있습니까? 이 기사에서는 주로 마지막 질문인 구체적인 논의를 연구합니다. 다음과 같이.

본 논문에서는 위의 하위 문제를 연구하기 위해 주로 두 가지 방법을 사용합니다. 첫째, 처음 세 가지 하위 문제의 경우 복잡하고 실제적인 도메인별 사례 연구를 사용하여 다양한 PIML 방법의 성능과 확장성을 조사합니다. 각 하위 문제에 대해 사례 연구를 제시하고, 이를 해결하기 위한 PIML 기법(또는 다양한 PIML 기법)을 제안하고, 해당 기법이 이 설정으로 어떻게 확장될 수 있는지 평가합니다. 둘째, 마지막 하위 문제에서는 단일 범용 PIML 기술에 중점을 두고 확장성을 평가하고 개선합니다. 처음 세 개의 하위 문제는 이 논문의 별도 장(각각 3~5장)에서 연구되며 해당 사례 연구는 모두 달 과학 및 지구물리학 분야에서 나온 것입니다. 마지막 하위 문제는 6장에서 공부할 것이다. 마지막으로 7장에서는 주요 연구 질문에 대한 각 장의 의미를 논의하고 요약합니다.

SciML 메소드 계보. 이 그래프는 이 장에 소개된 다양한 유형의 SciML 방법이 과학적 지식에 얼마나 "강력한"지 보여줍니다. 이 다이어그램에서는 과학적 제약의 강도가 다소 모호한 개념이라는 점에 유의하세요. 우리는 이를 SciML 접근 방식이 기존 워크플로에 얼마나 가까운지에 따라 정의합니다. 또한 중급 접근 방식은 기존의 반복 솔버를 ML 모델과 결합하는 반복 방법과 같이 ML을 기존 워크플로의 특정 측면과 결합합니다. 또한 우리의 과제는 다소 주관적이므로 이 숫자는 단지 일반적인 경향을 표현하기 위한 것입니다.

위 내용은 ML은 과학적 발견을 어떻게 수행하나요? 옥스포드 대학의 268페이지 분량의 박사 논문은 과학적 기계 학습의 의미를 자세히 설명합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!