GPT-4 und LLM: Das Microsoft-Team untersucht die Auswirkungen wissenschaftlicher Entdeckungen, ein 230-seitiger Artikel, der fünf wichtige wissenschaftliche Bereiche abdeckt

Beim Umschreiben von Inhalten muss der Originaltext auf Chinesisch umgeschrieben werden und der ursprüngliche englische Satz muss nicht erscheinen

Vor nicht allzu langer Zeit hat das Microsoft DeepSpeed-Team ein neues Programm namens DeepSpeed4Science gestartet, das auf Optimierung abzielt Technologie durch KI-Systeme ermöglichen wissenschaftliche Entdeckungen.

Am 13. November veröffentlichte das Microsoft-Team einen Artikel mit dem Titel „The Impact of Large Language Models on Scientific Discovery: A Preliminary Study Using GPT-4“ auf der Preprint-Plattform arXiv

Die Länge dieses Artikels erreichte 230 Seiten

Link zum Papier: https://arxiv.org/abs/2311.07361

In den letzten Jahren gipfelten bahnbrechende Fortschritte auf dem Gebiet der Verarbeitung natürlicher Sprache in der Entstehung leistungsfähiger großer Sprachmodelle (LLMs). Diese Modelle haben Außergewöhnliches gezeigt Fähigkeiten in zahlreichen Bereichen, einschließlich des Verstehens, Generierens und Übersetzens natürlicher Sprache, und erstrecken sich sogar auf Aufgaben, die über die Sprachverarbeitung hinausgehen.

In diesem Bericht werfen Microsoft-Forscher einen detaillierten Blick auf die Leistung von LLM im Kontext wissenschaftlicher Entdeckungen/Forschung und konzentrieren sich dabei auf das hochmoderne Sprachmodell GPT-4. Die Forschung umfasst mehrere wissenschaftliche Bereiche, darunter Arzneimittelentwicklung, Biologie, Computerchemie (DFT und MD), Materialdesign und partielle Differentialgleichungen (PDE).

Für die Bewertung der wissenschaftlichen Mission von GPT-4 ist es wichtig, sein Potenzial in verschiedenen Forschungsbereichen zu erschließen, Fachwissen in bestimmten Bereichen zu validieren, den wissenschaftlichen Fortschritt zu beschleunigen, die Ressourcenallokation zu optimieren, die zukünftige Modellentwicklung zu steuern und interdisziplinäre Forschung zu fördern. Zu den Explorationsmethoden gehören hauptsächlich die von Experten durchgeführte Fallbewertung, die qualitative Erkenntnisse liefern kann, die dem Modell helfen, komplexe wissenschaftliche Konzepte und Zusammenhänge zu verstehen, sowie gelegentliches Benchmarking, um die Fähigkeit des Modells, klar definierte domänenspezifische Probleme zu lösen, quantitativ zu bewerten

Vorläufige Untersuchungen zeigen, dass GPT-4 großes Potenzial für verschiedene wissenschaftliche Anwendungen hat und beweist seine Fähigkeit, komplexe Problemlösungs- und Wissensintegrationsaufgaben zu bewältigen. Die Forscher analysierten die Leistung von GPT-4 in den oben genannten Bereichen (z. B. Arzneimittelentwicklung, Biologie, Computerchemie, Materialdesign usw.) und hoben seine Vorteile und Grenzen hervor. Die Wissensbasis, die Fähigkeit zum wissenschaftlichen Verständnis, die Fähigkeit zur wissenschaftlichen numerischen Berechnung und die verschiedenen wissenschaftlichen Vorhersagefähigkeiten von GPT-4 werden umfassend bewertet. GPT-4 verfügt über umfassende Fachkenntnisse in Biologie und Materialdesign, um bei der Erfüllung spezifischer Anforderungen zu helfen. In anderen Bereichen wie der Arzneimittelforschung hat GPT-4 starke Fähigkeiten zur Vorhersage von Eigenschaften bewiesen. In Forschungsbereichen wie Computerchemie und partiellen Differentialgleichungen wird erwartet, dass GPT-4 den Forschern zwar bei der Erstellung von Vorhersagen und Berechnungen helfen wird, es sind jedoch weitere Anstrengungen erforderlich, um seine Genauigkeit zu verbessern. Trotz seiner beeindruckenden Fähigkeiten bietet GPT-4 immer noch Verbesserungen für quantitative Rechenaufgaben, wie z. B. die Notwendigkeit einer Feinabstimmung zur Verbesserung der Genauigkeit

Die Forscher hoffen, dass dieser Bericht für Forscher, die LLM für wissenschaftliche Forschung und Anwendungen nutzen möchten, und für Praktiker nützlich sein wird. sowie diejenigen, die daran interessiert sind, die Verarbeitung natürlicher Sprache in einem bestimmten Bereich voranzutreiben. Es ist wichtig zu betonen, dass sich der Bereich LLM und groß angelegtes maschinelles Lernen schnell weiterentwickelt und zukünftige LLM-Generationen möglicherweise über zusätzliche Fähigkeiten verfügen, die in diesem Bericht nicht erwähnt werden. Insbesondere die Integration von LLM mit professionellen wissenschaftlichen Werkzeugen und Modellen und die Entwicklung grundlegender wissenschaftlicher Modelle stellen zwei vielversprechende Forschungsrichtungen dar.

Arzneimittelentdeckung

Die Arzneimittelentdeckung ist ein wichtiger Teil der pharmazeutischen Industrie und spielt bei der Weiterentwicklung der medizinischen Wissenschaft eine entscheidende Rolle. Die Arzneimittelforschung umfasst einen komplexen multidisziplinären Prozess, der die Identifizierung von Zielmolekülen, die Optimierung von Leitstrukturen und präklinische Tests umfasst und letztendlich zur Entwicklung sicherer und wirksamer Arzneimittel führt.

GPT-4 hat ein großes Potenzial in der Arzneimittelforschung, wie z. B. die Beschleunigung des Entdeckungsprozesses, die Reduzierung der Such- und Designkosten, die Steigerung der Kreativität usw. In diesem Kapitel wird zunächst das Wissen von GPT-4 für die Arzneimittelentdeckung durch qualitative Tests untersucht und dann seine Vorhersagefähigkeiten durch quantitative Tests für mehrere Schlüsselaufgaben untersucht, darunter die Vorhersage der Arzneimittel-Ziel-Interaktion/Bindungsaffinität, die Vorhersage molekularer Eigenschaften und die Vorhersage der Retrosynthese.

Umgeschriebener Inhalt : Das erste Beispiel umfasst die Generierung der chemischen Formel, des IUPAC-Namens und von SMILES eines bestimmten Medikamentennamens, was die Umwandlung des Namens in andere Darstellungen des Medikaments darstellt. Als Input-Medikament wurde Afatinib verwendet. GPT-4 hat erfolgreich die korrekte chemische Formel C24H25ClFN5O3 und den korrekten IUPAC-Namen ausgegeben, was darauf hinweist, dass GPT-4 das Medikament Afatinib kennt. Das generierte SMILES ist jedoch falsch. Daher gaben die Forscher Hinweise, wie GPT-4 SMILES regenerieren kann. Leider waren die in mehreren Experimenten generierten SMILES-Sequenzen trotz der ausdrücklichen Anforderung, dass GPT-4 „auf die Anzahl der Atome jedes Atomtyps achten“ und SMILES auf der Grundlage korrekter IUPAC- und chemischer Formeln generieren muss, immer noch falsch

Das erste Bild zeigt die Übersetzung von Arzneimittelnamen und anderen Arzneimitteldarstellungen. (Zitiert aus dem Artikel)

Biologie

In diesem Kapitel befassen sich die Forscher mit den Fähigkeiten von GPT-4 im Bereich der biologischen Forschung und konzentrieren sich dabei auf seine Fähigkeit, biologische Sprache zu verstehen, logisches Denken mithilfe eingebauten biologischen Wissens zu verstehen und Entwerfen biologischer molekularer und biologischer Experimente. Beobachtungen deuten darauf hin, dass GPT-4 ein großes Potenzial für einen Beitrag zum Bereich der Biologie aufweist, indem es seine Fähigkeit unter Beweis stellt, komplexe biologische Sprachen zu verarbeiten, bioinformatische Aufgaben auszuführen und sogar als wissenschaftlicher Assistent im biologischen Design zu fungieren. Das breite Verständnis von GPT-4 für biologische Konzepte und sein großes Potenzial als wissenschaftlicher Assistent bei Designaufgaben unterstreichen seine wichtige Rolle bei der Weiterentwicklung des Bereichs der Biologie.

Zuerst wurde die Fähigkeit von GPT-4 bewertet, biologische Sequenzsymbole und Textsymbole zu verarbeiten.

Forscher baten GPT-4, zwischen biologischen Sequenzen und ihren Textsymbolen zu konvertieren: 1) Den Proteinnamen einer bestimmten Proteinsequenz ausgeben. 2) Geben Sie die Proteinsequenz mit dem angegebenen Namen aus. Vor jeder Aufgabe wird die Sitzung neu gestartet, um Informationslecks zu verhindern. Es stellt sich heraus, dass GPT-4 über die Konvertierung von Sequenz-in-Text-Symbolen Bescheid weiß, aber nicht direkt selbst nachschlagen kann (auch BLAST-Sequenzen genannt). Unterdessen bevorzugt GPT-4 Text-Tags für biologische Sequenzen (einschließlich Proteine ​​und DNA, letztere nicht gezeigt). Wenn Textsymbole angegeben werden, liefert es umfangreichere Informationen, wahrscheinlich aufgrund seiner Designphilosophie. Es ist wichtig anzumerken, dass auch darauf hingewiesen wurde, dass die Generierung von Sequenzen zu einem katastrophalen Verhalten von GPT-4 führen könnte. Wie in der Abbildung unten gezeigt, gab GPT-4 zwar die richtige UniProt-ID zurück, es traten jedoch Schwierigkeiten beim Generieren der Sequenz auf. Die Sequenzgenerierung stürzt ab, wenn mehrere verschiedene Eingabeaufforderungen ausprobiert werden.

Abbildung 2: Konvertierung zwischen Sequenzsymbolen und Textsymbolen. (Quelle: Paper)

Computational Chemistry

Chemical Computing ist ein interdisziplinäres Gebiet, das rechnerische Methoden und Techniken nutzt, um komplexe Probleme in der Chemie zu lösen. Chemische Berechnungen sind seit langem ein unverzichtbares Werkzeug bei der Untersuchung molekularer Systeme und ermöglichen nicht nur ein tiefes Verständnis der Wechselwirkungen auf atomarer Ebene, sondern leiten auch experimentelle Arbeiten. Chemische Berechnungen spielen eine entscheidende Rolle beim Verständnis molekularer Strukturen, chemischer Reaktionen und physikalischer Phänomene auf Mikro- und Makroebene. Dieses Kapitel konzentriert sich auf die Funktion von GPT-4 im Bereich der Computerchemie. Wir werden seine Anwendung in elektronischen Strukturmethoden und Molekulardynamiksimulationen untersuchen und die Servicefähigkeiten von GPT-4 aus verschiedenen Perspektiven anhand von zwei praktischen Beispielen demonstrieren. Zusammenfassend lässt sich sagen, dass GPT-4 Forschern der computergestützten Chemie auf vielfältige Weise helfen kann

Die Studie begann mit der Bewertung der Fähigkeit von GPT-4, Konzepte in der Quantenchemie und -physik zu erklären. Die Bewertung umfasst in diesem Bereich häufig verwendete Methoden wie Dichtefunktionaltheorie (DFT) und Wellenfunktionstheorie (WFT).

Abbildung 3: Konzepttest der Dichtefunktionaltheorie. (Quelle: Paper)

Im obigen Beispiel bietet GPT-4 ein gutes Verständnis der Konzepte der Dichtefunktionaltheorie, der KohnSham-Dichtefunktionaltheorie und der orbitlosen Dichtefunktionaltheorie.

Materialdesign

In diesem Kapitel werden die Fähigkeiten von GPT-4 im Bereich Materialdesign untersucht. Die Forscher entwarfen eine umfassende Reihe von Aufgaben, die alle Aspekte des Materialdesignprozesses abdeckten, von der ersten Konzeptualisierung bis zur anschließenden Validierung und Synthese. Ziel ist es, das Fachwissen von GPT-4 und seine Fähigkeit zu bewerten, aussagekräftige Erkenntnisse und Lösungen in realen Anwendungen zu generieren. Die entworfenen Aufgaben decken verschiedene Aspekte ab, darunter Hintergrundwissen, Designprinzipien, Kandidatenidentifikation, Kandidatenstrukturgenerierung, Attributvorhersage und Vorhersage synthetischer Bedingungen. Durch die Betrachtung des gesamten Designprozesses besteht das Ziel darin, eine Gesamtbewertung der Kompetenz von GPT-4 im Materialdesign zu liefern, insbesondere für komplexere Materialien wie kristalline anorganische Materialien, organische Polymere und metallorganische Gerüste (MOFs).

Es ist erwähnenswert, dass sich die Bewertung in erster Linie auf eine qualitative Bewertung der Fähigkeiten von GPT-4 in diesem speziellen Bereich konzentrierte, wobei statistische Bewertungen nur dort vergeben wurden, wo dies möglich ist.

Die Forscher untersuchten zunächst, wie aktuelle Festelektrolyte klassifiziert werden, für die unterschiedliche Anforderungen gelten, beispielsweise eine Klassifizierung nach allgemeiner Chemie und Anionentyp. Darüber hinaus forderten sie Beispiele basierend auf diesen Klassifizierungskriterien an. Wie in Abbildung 4 dargestellt, sind alle Antworten sachlich und die meisten davon richtig. Da diese Klassifizierungskriterien in der Literatur nicht ausreichend vertreten sind, sollte GPT-4 ein relativ klares Verständnis davon haben, was Chemie bedeutet

Laut Quellenpapier muss Folgendes umgeschrieben werden: Abbildung 4: Anorganische Klassifizierung von Feststoffen Elektrolyte

Partielle Differentialgleichungen

Partielle Differentialgleichungen (PDE) sind ein wichtiges und äußerst aktives Forschungsgebiet in der Mathematik mit weitreichenden Anwendungen in verschiedenen Disziplinen wie Physik, Ingenieurwesen, Biologie und Finanzen. Partielle Differentialgleichungen spielen eine entscheidende Rolle bei der Modellierung und dem Verständnis einer Vielzahl von Phänomenen, von der Fluiddynamik und der Wärmeübertragung bis hin zu elektromagnetischen Feldern und Gruppendynamik.

In diesem Kapitel werden die Fähigkeiten von GPT-4 in verschiedenen Aspekten partieller Differentialgleichungen untersucht: Verständnis der Grundlagen partieller Differentialgleichungen, Lösung partieller Differentialgleichungen und Unterstützung der KI bei der Erforschung partieller Differentialgleichungen. Forscher bewerten Modelle für verschiedene Formen von PDEs, wie etwa lineare Gleichungen, nichtlineare Gleichungen und stochastische PDEs. Untersuchungen zeigen, dass GPT-4 Forschern auf vielfältige Weise helfen kann.

Die erste Frage betrifft die Definition und Form partieller Differentialgleichungen. GPT-4 bietet eine gute Erklärung partieller Differentialgleichungen, wie in Abbildung 5 dargestellt. Auf Eingabeaufforderung des Benutzers liefert GPT-4 ein klares Konzept partieller Differentialgleichungen und Kategorien von linearen oder nichtlinearen, elliptischen, parabolischen oder hyperbolischen Gleichungen. Neueinsteiger auf diesem Gebiet werden von diesen Konzepten und Klassifizierungen profitieren.

Abbildung 5: Einführung in die Grundkonzepte von PDE. (Quelle: Paper)

Zukunftsausblick

In dieser Studie untersuchen wir die Möglichkeiten und Grenzen von LLM in verschiedenen naturwissenschaftlichen Bereichen und decken eine Vielzahl von Aufgaben ab. Unser Hauptziel besteht darin, eine vorläufige Bewertung des hochmodernen LLM GPT-4 und seines Potenzials für wissenschaftliche Entdeckungen bereitzustellen und Forschern in verschiedenen Bereichen wertvolle Ressourcen und Werkzeuge zur Verfügung zu stellen

Durch umfassende Analysen hebt die Studie hervor das Potenzial von GPT-4 in Bezug auf die Beherrschung zahlreicher wissenschaftlicher Aufgaben, von der Literatursynthese über die Vorhersage von Eigenschaften bis hin zur Codegenerierung. Trotz seiner beeindruckenden Fähigkeiten ist es wichtig, die Einschränkungen von GPT-4 (und ähnlichen LLMs) zu erkennen, wie z. B. Herausforderungen beim Umgang mit bestimmten Datenformaten, Inkonsistenzen bei den Antworten und gelegentliche Halluzinationen.

Die Forscher glauben, dass diese Erforschung ein entscheidender erster Schritt zum Verständnis und Erkennen des Potenzials von GPT-4 in den Naturwissenschaften ist. Durch die Bereitstellung eines detaillierten Überblicks über seine Vor- und Nachteile soll es Forschern dabei helfen, fundierte Entscheidungen bei der Einbindung von GPT-4 (oder anderen LLMs) in ihre tägliche Arbeit zu treffen und so eine optimale Anwendung sicherzustellen und gleichzeitig die Einschränkungen zu berücksichtigen.

Darüber hinaus wird die weitere Erforschung und Entwicklung von GPT-4 und anderen LLMs gefördert, um deren wissenschaftliche Entdeckungsfähigkeiten zu verbessern. Dies kann die Verfeinerung von Schulungsprozessen, die Zusammenführung domänenspezifischer Daten und Architekturen sowie die Integration von Fachwissen umfassen, das auf verschiedene wissenschaftliche Disziplinen zugeschnitten ist.

Da sich der Bereich der künstlichen Intelligenz weiterentwickelt, wird die Integration komplexer Modelle wie GPT-4 eine immer wichtigere Rolle bei der Beschleunigung der wissenschaftlichen Forschung und Innovation spielen.

Abschließend fasst die Studie zusammen, was LLM in wissenschaftlichen Forschungsaspekten verbessern muss. und diskutieren Sie mögliche Richtungen zur Stärkung des LLM oder zur Förderung wissenschaftlicher Durchbrüche auf dieser Grundlage.

Das obige ist der detaillierte Inhalt vonGPT-4 und LLM: Das Microsoft-Team untersucht die Auswirkungen wissenschaftlicher Entdeckungen, ein 230-seitiger Artikel, der fünf wichtige wissenschaftliche Bereiche abdeckt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!