Vollständige 1-Jahres-MD-Berechnung in 2,5 Tagen? Die neue Berechnungsmethode des DeepMind-Teams basiert auf dem Euclidean Transformer

Herausgeber |. Karottenschale

In den letzten Jahren wurden große Fortschritte bei der Entwicklung von maschinellen Lernkraftfeldern (MLFF) auf Basis von Ab-initio-Referenzberechnungen erzielt. Obwohl geringe Testfehler erzielt werden, wird die Zuverlässigkeit von MLFF in Molekulardynamiksimulationen (MD) aufgrund von Bedenken hinsichtlich der Instabilität über längere Simulationszeiträume zunehmend unter die Lupe genommen.

Untersuchungen haben einen möglichen Zusammenhang zwischen der Robustheit gegenüber kumulativen Ungenauigkeiten und der Verwendung äquivarianter Darstellungen in MLFF gezeigt, aber die mit diesen Darstellungen verbundenen Rechenkosten können diesen Vorteil in der Praxis einschränken.

Um dieses Problem zu lösen, haben Forscher von Google DeepMind und der TU Berlin eine Transformatorarchitektur namens SO3krates vorgeschlagen, die spärliche äquivariante Darstellung (euklidische Variablen) mit trennungsinvarianter und äquivarianter Darstellung kombiniert. Es kombiniert einen Selbstaufmerksamkeitsmechanismus mit variablen Informationen, wodurch die Notwendigkeit entfällt teure Tensorprodukte.

SO3krates erreichen eine einzigartige Kombination aus Präzision, Stabilität und Geschwindigkeit und ermöglichen eine tiefgreifende Analyse der Quanteneigenschaften von Materie über lange Zeiträume und Systemskalen.

Die Forschung trug den Titel „Ein euklidischer Transformator für schnelle und stabile maschinell erlernte Kraftfelder“ und wurde am 6. August 2024 in „Nature Communications“ veröffentlicht.

Hintergrund und Herausforderungen

Molekulardynamiksimulation (MD) kann die Entwicklung des Systems von mikroskopischen Wechselwirkungen zu makroskopischen Eigenschaften durch Langzeitsimulationen aufzeigen, und ihre Vorhersagegenauigkeit hängt von den interatomaren Wechselwirkungen ab, die die Simulation vorantreiben Kraftgenauigkeit. Traditionell wurden diese Kräfte aus ungefähren Kraftfeldern (FF) oder rechnerisch komplexen Ab-initio-Methoden zur elektronischen Struktur abgeleitet.

In den letzten Jahren haben potenzielle Energiemodelle des maschinellen Lernens (ML) flexiblere Vorhersagemethoden bereitgestellt, indem sie die statistische Abhängigkeit molekularer Systeme ausnutzen.

Studien haben jedoch gezeigt, dass der Testfehler von ML-Modellen auf Benchmark-Datensätzen nur schwach mit der Leistung in Langzeit-MD-Simulationen korreliert.

Um die Extrapolationsleistung zu verbessern, wurden komplexe Architekturen wie Message Passing Neural Networks (MPNNs) entwickelt, insbesondere äquivariante MPNNs, die die Richtungsinformationen zwischen Atomen durch Einführung von Tensorprodukten erfassen, um die Datenübertragung zu verbessern.

In der äquivarianten SO(3)-Architektur wird die Faltung auf der SO(3)-Rotationsgruppe basierend auf sphärischen Harmonischen durchgeführt. Durch die Festlegung des maximalen Grades der sphärischen Harmonischen in der Architektur kann ein exponentielles Wachstum des zugehörigen Funktionsraums vermieden werden.

Wissenschaftler haben bewiesen, dass die maximale Ordnung eng mit der Genauigkeit, der Dateneffizienz und der Zuverlässigkeit des Modells in MD-Simulationen zusammenhängt. Allerdings skalieren SO(3)-Faltungen , was die Vorhersagezeit pro Konformation im Vergleich zum invarianten Modell um bis zu zwei Größenordnungen erhöhen kann.

Dies führt dazu, dass Kompromisse zwischen Genauigkeit, Stabilität und Geschwindigkeit eingegangen werden müssen, und kann auch zu erheblichen praktischen Problemen führen. Diese Probleme müssen angegangen werden, bevor diese Modelle bei Explorationsmissionen mit hohem Durchsatz oder auf breiter Basis nützlich sein können.

Eine neue Methode mit leistungsstarker Leistung

Das Forschungsteam von Google DeepMind und der Technischen Universität Berlin nutzte dies als Motivation, einen euklidischen Selbstaufmerksamkeitsmechanismus vorzuschlagen, der die relativen Richtungen von atomaren Nachbarschaftsfiltern anstelle von SO(3) verwendet ) Faltungen, wodurch atomare Wechselwirkungen ohne teure Tensorprodukte dargestellt werden; die Methode heißt SO3krates.

Illustration: SO3krates Architektur und Bausteine. (Quelle: Papier)

Diese Lösung baut auf den jüngsten Fortschritten im Design neuronaler Netzwerkarchitekturen und beim geometrischen Deep Learning auf. SO3krates verwendet spärliche Darstellungen für Molekülgeometrien und beschränkt die Projektion aller Faltungsreaktionen auf die relevantesten invarianten Komponenten der äquivarianten Basisfunktionen.

Abbildung: Invarianten lernen. (Quelle: Papier)

Aufgrund der Orthogonalität sphärischer Harmonischer entspricht diese Projektion der Spur des Produkttensors, der durch ein linear skaliertes inneres Produkt dargestellt werden kann. Dies kann effizient auf äquivariante Darstellungen höherer Ordnung erweitert werden, ohne dass die Rechengeschwindigkeit oder der Speicheraufwand darunter leiden.

Kraftvorhersagen werden aus dem Gradienten des resultierenden invarianten Energiemodells abgeleitet, das eine stückweise Linearisierung natürlicher Äquivarianten darstellt. Während des gesamten Prozesses wird der Selbstaufmerksamkeitsmechanismus verwendet, um die invarianten und äquivarianten Grundelemente im Modell zu trennen.

Das Team verglich die Stabilität und Geschwindigkeit des SO3krates-Modells mit aktuellen hochmodernen ML-Modellen und stellte fest, dass die Lösung die Einschränkungen aktueller äquivarianter MLFFs überwindet, ohne deren Vorteile zu beeinträchtigen.

Die von den Forschern vorgeschlagene mathematische Formel kann eine effiziente äquivariante Architektur realisieren und dadurch eine zuverlässige und stabile MD-Simulation im Vergleich zur äquivarianten MPNN mit vergleichbarer Stabilität und Genauigkeit erreichen; ihre Geschwindigkeit kann um etwa das 30-fache erhöht werden.

Um dies zu beweisen, führten die Forscher in nur wenigen Stunden präzise MD-Simulationen supramolekularer Strukturen im Nanosekundenbereich durch und konnten so den Bereich von einem kleinen Peptid mit 42 Atomen bis zu einem Peptid mit 370 Atomen berechnen Autokorrelationsfunktion der nanostrukturierten Struktur.

Grafik: Ergebnisübersicht. (Quelle: Papier)

Die Forscher wandten dieses Modell weiter an, um die PES-Topologie von Docosahexaensäure (DHA) und Ac-Ala3-NHMe zu untersuchen, indem sie 10.000 Minima mithilfe eines Minimum-Hopping-Algorithmus untersuchten.

Eine solche Studie würde etwa 30 Millionen FF-Bewertungen erfordern, die bei Temperaturen zwischen einigen hundert K und 1200 K durchgeführt werden. Unter Verwendung von DFT-Methoden erfordert diese Analyse mehr als ein Jahr Rechenzeit. Bestehende äquivariante MLFF mit ähnlicher Vorhersagegenauigkeit würden mehr als einen Monat dauern, um eine solche Analyse abzuschließen.

Im Vergleich dazu konnte das Team die Simulation in nur 2,5 Tagen abschließen und so Hunderttausende PES-Minima auf realistischen Zeitskalen erkunden.

Darüber hinaus ist SO3krates in der Lage, physikalisch gültige Mindestkonformationen zu erkennen, die nicht in den Trainingsdaten enthalten sind. Die Fähigkeit, auf unbekannte Teile von PES zu extrapolieren, ist für die Skalierung von MLFF auf große Strukturen von entscheidender Bedeutung, da verfügbare Ab-initio-Referenzdaten nur Teilbereiche konformationsreicher Strukturen abdecken.

Das Team untersuchte auch die Auswirkungen der Deaktivierung der Eigenschaft „Gleiche Varianz“ in der Netzwerkarchitektur, um ein tieferes Verständnis ihrer Auswirkungen auf die Modelleigenschaften und ihrer Zuverlässigkeit in MD-Simulationen zu gewinnen.

Die Forscher fanden heraus, dass die Äquivarianz mit der Stabilität der resultierenden MD-Simulationen und dem Extrapolationsverhalten auf höhere Temperaturen zusammenhängt. Es kann gezeigt werden, dass selbst wenn die Testfehlerschätzungen im Durchschnitt gleich sind, die Äquivarianz die Streuung der Fehlerverteilung verringert.

Abbildung: Recheneffizienz und MD-Stabilität. (Quelle: Papier)

Daher ähnelt die Verwendung von Richtungsinformationen mittels äquivarianter Darstellung im Geiste der klassischen ML-Theorie, bei der die Zuordnung zu höheren Dimensionen umfangreichere Merkmalsräume ergeben kann, die einfacher zu parametrisieren sind.

Zukunftsforschung

In einer Reihe neuerer Studien wurden Methoden vorgeschlagen, die darauf abzielen, die Rechenkomplexität von SO(3)-Faltungen zu reduzieren. Sie können als Ersatz für vollständige SO(3)-Faltungen dienen, und die in diesem Artikel vorgestellte Methode kann die Verwendung teurer SO(3)-Faltungen im Nachrichtenübermittlungsparadigma vollständig vermeiden.

Diese Ergebnisse deuten alle darauf hin, dass die Optimierung äquivarianter Interaktionen ein aktives Forschungsgebiet ist, das noch nicht vollständig ausgereift ist und Möglichkeiten für weitere Verbesserungen bieten könnte.

Abbildung: Stabile, langfristige MD-Simulationen und Extrapolation auf größere Biomoleküle. (Quelle: Papier)

Während die Arbeit des Teams es ermöglicht, mithilfe des modernen MLFF-Modellierungsparadigmas stabile erweiterte Simulationszeitskalen zu erreichen, sind zukünftige Optimierungen noch erforderlich, um die Anwendbarkeit von MLFF näher an die traditionelle klassische FF heranzuführen.

Aktuell haben sich verschiedene vielversprechende Wege in diese Richtung herauskristallisiert: In aktuellen Designs werden Elektrofahrzeuge ausschließlich über Zweikörper-Wechselwirkungen definiert. Die Genauigkeit kann weiter verbessert werden, indem die Atomclusterexpansion in den MP-Schritt integriert wird. Gleichzeitig kann dies dazu beitragen, die Anzahl der MP-Schritte und damit die Rechenkomplexität des Modells zu reduzieren.

Ein weiteres Thema, das noch nicht diskutiert wurde, ist der richtige Umgang mit globalen Auswirkungen. Durch die Verwendung von Approximationen mit niedrigem Rang, durch trainierbare Ewald-Summierung oder durch das Erlernen weitreichender Korrekturen auf physikalisch inspirierte Weise. Der letztgenannte Ansatz ist besonders wichtig, wenn eine Extrapolation auf größere Systeme erforderlich ist.

Während äquivariante Modelle die Extrapolation lokaler Interaktionen verbessern können, gilt dies nicht für Interaktionen, die über die in den Trainingsdaten vorhandenen Längenskalen oder über den effektiven Grenzwert des Modells hinausgehen.

Da die oben genannten Methoden auf lokalen Eigenschaften wie Teilladung, Elektronegativität oder Hirshfield-Volumen basieren, können sie nahtlos in die Architektur des Teams integriert werden, indem die entsprechenden lokalen Deskriptoren im invarianten Merkmalszweig der SO3krates-Architektur in der Methode gelernt werden.

Daher wird sich die zukünftige Arbeit auf die Einbeziehung von Vielteilchenentwicklungen, globalen Effekten und weitreichenden Wechselwirkungen in den EV-Formalismus konzentrieren und darauf abzielen, die Recheneffizienz weiter zu verbessern und letztendlich MD-Zeitskalen mit hoher Genauigkeit abzudecken.

Link zum Papier: https://www.nature.com/articles/s41467-024-50620-6

Verwandter Inhalt: https://phys.org/news/2024-08-faster-coupling- ai-fundamental-physics.html

Das obige ist der detaillierte Inhalt vonVollständige 1-Jahres-MD-Berechnung in 2,5 Tagen? Die neue Berechnungsmethode des DeepMind-Teams basiert auf dem Euclidean Transformer. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!