2.5일 안에 1년 MD 계산을 완료하시겠습니까? 유클리드 변환기(Euclidean Transformer)를 기반으로 한 DeepMind 팀의 새로운 계산 방법

Editor | Carrot Skin

최근 몇 년 동안 ab initio 참조 계산을 기반으로 한 MLFF(기계 학습 역장) ​​개발이 큰 진전을 이루었습니다. 낮은 테스트 오류가 달성되었음에도 불구하고 분자 역학(MD) 시뮬레이션에서 MLFF의 신뢰성은 더 긴 시뮬레이션 시간 규모에 따른 불안정성에 대한 우려로 인해 점점 더 면밀히 조사되고 있습니다.

연구에 따르면 누적 부정확성에 대한 견고성과 MLFF의 등변 표현 사용 사이의 잠재적인 연관성이 밝혀졌지만 이러한 표현과 관련된 계산 비용으로 인해 실제로 이러한 이점이 제한될 수 있습니다.

이 문제를 해결하기 위해 Google DeepMind와 TU Berlin의 연구원은 희소 등변 표현(유클리드 변수)과 분리 불변 및 등변을 결합한 SO3krate라는 변환기 아키텍처를 제안했습니다. 고가의 텐서 제품.

SO3krate는 정밀도, 안정성 및 속도의 고유한 조합을 달성하여 장기간 및 시스템 규모에 걸쳐 물질의 양자 특성에 대한 심층 분석을 가능하게 합니다.

연구 제목은 "빠르고 안정적인 기계 학습 역장을 위한 유클리드 변환기"이며 2024년 8월 6일 "Nature Communications"에 게재되었습니다.

배경 및 과제

분자 역학(MD) 시뮬레이션은 장기 시뮬레이션을 통해 미시적 상호 작용에서 거시적 특성으로 시스템의 진화를 밝힐 수 있으며 예측 정확도는 시뮬레이션을 구동하는 원자 간 상호 작용에 따라 달라집니다. 힘의 정확성. 전통적으로 이러한 힘은 대략적인 역장(FF) 또는 계산적으로 복잡한 순순한 전자 구조 방법에서 파생되었습니다.

최근 몇 년 동안 기계 학습(ML) 위치 에너지 모델은 분자 시스템의 통계적 의존성을 활용하여 보다 유연한 예측 방법을 제공했습니다.

그러나 연구에 따르면 벤치마크 데이터세트에 대한 ML 모델의 테스트 오류는 장기 MD 시뮬레이션의 성능과 약한 상관관계가 있는 것으로 나타났습니다.

외삽 성능을 향상시키기 위해 메시지 전달 신경망(MPNN)과 같은 복잡한 아키텍처가 개발되었으며, 특히 데이터 전송성을 향상시키기 위해 텐서 곱을 도입하여 원자 간의 방향 정보를 캡처하는 등변 MPNN이 개발되었습니다.

SO(3) 등변 아키텍처에서는 구형 고조파를 기반으로 SO(3) 회전 그룹에서 컨볼루션이 수행됩니다. 아키텍처에서 구면 고조파의 최대 차수를 고정함으로써 관련 기능 공간의 기하급수적인 증가를 피할 수 있습니다.

과학자들은 최대 차수가 정확도, 데이터 효율성 및 MD 시뮬레이션 모델의 신뢰성과 밀접한 관련이 있음을 입증했습니다. 그러나 SO(3) 컨볼루션은 확장되어 불변 모델에 비해 형태당 예측 시간을 최대 2배까지 늘릴 수 있습니다.

이로 인해 정확성, 안정성, 속도 사이에서 절충이 이루어져야 하는 상황이 발생하고 심각한 실무적 문제가 발생할 수도 있습니다. 이러한 모델이 처리량이 많거나 광범위한 탐사 임무에 유용하려면 먼저 이러한 문제를 해결해야 합니다.

강력한 성능을 지닌 새로운 방법

Google DeepMind 연구팀과 베를린 공과대학은 이를 동기로 삼아 SO 대신 원자 이웃 필터의 상대적 방향을 사용하는 유클리드 self-attention 메커니즘을 제안했습니다(3 ) 회선을 사용하여 값비싼 텐서 제품 없이 원자 상호 작용을 나타내는 방법을 SO3krate라고 합니다.

그림: SO3krates 아키텍처 및 빌딩 블록. (출처: 논문)

이 솔루션은 신경망 아키텍처 설계 및 기하학적 딥 러닝의 최근 발전을 기반으로 합니다. SO3krates는 분자 기하학에 대한 희소 표현을 사용하고 모든 컨볼루션 응답의 투영을 등변 기저 함수의 가장 관련성이 높은 불변 구성 요소로 제한합니다.

그림: 불변 학습. (출처: 논문)

구면 고조파의 직교성으로 인해 이 투영은 곱 텐서의 궤적에 해당하며 선형 크기의 내적으로 나타낼 수 있습니다. 이는 계산 속도나 메모리 비용을 희생하지 않고도 고차 등변 표현으로 효율적으로 확장될 수 있습니다.

힘 예측은 자연 등변량의 조각별 선형화를 나타내는 결과 불변 에너지 모델의 기울기에서 파생됩니다. 프로세스 전반에 걸쳐 self-attention 메커니즘은 모델의 불변 기본 요소와 등변 기본 요소를 분리하는 데 사용됩니다.

팀은 SO3krate 모델의 안정성과 속도를 현재 최첨단 ML 모델과 비교한 결과, 이 솔루션이 장점을 손상시키지 않으면서 현재 등변 MLFF의 한계를 극복한다는 사실을 발견했습니다.

연구원이 제안한 수학적 공식은 효율적인 등변 아키텍처를 실현할 수 있어 신뢰할 수 있고 안정적인 MD 시뮬레이션을 달성할 수 있으며, 동등한 안정성과 정확성을 갖춘 등변 MPNN에 비해 속도가 약 30배 향상될 수 있습니다.

이를 증명하기 위해 연구원들은 단 몇 시간 만에 초분자 구조의 정밀한 나노초 규모 MD 시뮬레이션을 실행하여 수렴 속도의 푸리에 변환에 대한 42개의 원자를 가진 작은 펩타이드부터 370개의 원자를 가진 펩타이드까지의 범위를 계산할 수 있었습니다. 나노 구조 구조의 자기 상관 함수.

그래픽: 결과 개요. (출처: 논문)

연구원들은 최소 호핑 알고리즘을 사용하여 10k 최소값을 연구하여 DHA(도코사헥사엔산) 및 Ac-Ala3-NHMe의 PES 토폴로지를 탐색하기 위해 이 모델을 추가로 적용했습니다.

이러한 연구에는 수백 K에서 1200K 사이의 온도에서 수행되는 약 3천만 번의 FF 평가가 필요합니다. DFT 방법을 사용하는 이 분석에는 1년 이상의 계산 시간이 필요합니다. 비슷한 예측 정확도를 가진 기존 등변량 MLFF를 실행하면 이러한 분석을 완료하는 데 한 달 이상이 걸립니다.

이에 비해 팀은 단 2.5일 만에 시뮬레이션을 완료할 수 있었고, 수십만 개의 PES 최소값을 현실적인 시간 규모로 탐색할 수 있었습니다.

또한 SO3krate는 훈련 데이터에 포함되지 않은 물리적으로 유효한 최소 형태를 감지할 수 있습니다. PES의 알려지지 않은 부분을 외삽하는 능력은 MLFF를 대규모 구조로 확장하는 데 중요합니다. 사용 가능한 ab initio 참조 데이터는 구조적으로 풍부한 구조의 하위 영역만 다루기 때문입니다.

또한 팀은 모델 속성에 미치는 영향과 MD 시뮬레이션의 신뢰성에 대한 더 깊은 이해를 얻기 위해 네트워크 아키텍처에서 등분산 속성을 비활성화하는 경우의 영향을 연구했습니다.

연구원들은 등분산이 결과 MD 시뮬레이션의 안정성 및 더 높은 온도에 대한 외삽 동작과 관련이 있음을 발견했습니다. 테스트 오류 추정치가 평균적으로 동일하더라도 등분산은 오류 분포의 확산을 감소시키는 것으로 나타났습니다.

그림: 계산 효율성 및 MD 안정성. (출처: 논문)

따라서 등변 표현을 통해 방향 정보를 사용하는 것은 더 높은 차원으로 매핑하면 매개변수화하기 더 쉬운 더 풍부한 특징 공간을 생성할 수 있는 고전적인 ML 이론과 정신적으로 유사합니다.

미래 연구

최근 일련의 연구에서 SO(3) 컨볼루션의 계산 복잡성을 줄이는 것을 목표로 하는 방법이 제안되었습니다. 이는 전체 SO(3) 컨볼루션을 대체하는 역할을 할 수 있으며 이 기사에 제시된 방법은 메시지 전달 패러다임에서 비용이 많이 드는 SO(3) 컨볼루션의 사용을 완전히 피할 수 있습니다.

이러한 결과는 모두 등변적 상호작용의 최적화가 아직 완전히 성숙되지 않은 활발한 연구 분야이며 추가 개선을 위한 길을 제공할 수 있음을 나타냅니다.

그림: 안정적인 장기 MD 시뮬레이션 및 더 큰 생체분자로의 추정. (출처: 논문)

팀의 작업을 통해 최신 MLFF 모델링 패러다임을 사용하여 안정적으로 확장된 시뮬레이션 기간을 달성할 수 있지만 MLFF의 적용 가능성을 전통적인 클래식 FF에 더 가깝게 만들기 위해서는 향후 최적화가 여전히 필요합니다.

현재 이 방향으로 다양한 유망한 방법이 등장했습니다. 현재 디자인에서 EV는 두 차체 상호 작용 측면에서만 정의됩니다. MP 단계에 원자 클러스터 확장을 통합하면 정확도가 더욱 향상될 수 있습니다. 동시에 이는 MP 단계 수를 줄여 모델의 계산 복잡성을 줄이는 데 도움이 될 수 있습니다.

아직 논의되지 않은 또 다른 문제는 전역 효과의 적절한 처리입니다. 낮은 순위 근사법, 훈련 가능한 Ewald 합계를 사용하거나 물리적으로 영감을 받은 방식으로 장거리 수정을 학습함으로써 가능합니다. 후자 유형의 접근 방식은 대규모 시스템에 대한 추정이 필요할 때 특히 중요합니다.

등변 모델은 국소 상호 작용의 외삽을 향상시킬 수 있지만 이는 훈련 데이터에 있는 길이 척도를 넘어서거나 모델의 효과적인 컷오프를 넘어서는 상호 작용에는 적용되지 않습니다.

위의 방법은 부분 전하, 전기 음성도 또는 Hirshfield 볼륨과 같은 로컬 속성에 의존하므로 메서드에서 SO3krates 아키텍처의 불변 기능 분기에서 해당 로컬 설명자를 학습하여 팀 아키텍처에 원활하게 통합될 수 있습니다.

따라서 향후 작업은 다체 확장, 전역 효과 및 장거리 상호 작용을 EV 형식에 통합하는 데 중점을 두고 계산 효율성을 더욱 향상시키고 궁극적으로 MD 시간 척도를 높은 정확도로 확장하는 것을 목표로 합니다.

논문 링크: https://www.nature.com/articles/s41467-024-50620-6

관련 내용: https://phys.org/news/2024-08-faster-coupling- ai-fundamental-physics.html

위 내용은 2.5일 안에 1년 MD 계산을 완료하시겠습니까? 유클리드 변환기(Euclidean Transformer)를 기반으로 한 DeepMind 팀의 새로운 계산 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!