Das Transformer-Autoren-Startup Sakana AI bringt AI Scientist auf den Markt, das erste vollautomatische KI-System für wissenschaftliche Entdeckungen

Herausgeber |. Vor einem Jahr verließ Llion Jones, der letzte Autor des Transformer-Artikels von Google, das Unternehmen, um ein Unternehmen zu gründen, und gründete zusammen mit dem ehemaligen Google-Forscher David Ha das Unternehmen für künstliche Intelligenz Sakana AI. Sakana AI behauptet, ein neues grundlegendes Modell zu schaffen, das auf von der Natur inspirierten Intelligenz basiert!

Jetzt hat Sakana AI seinen Antwortbogen eingereicht.

Sakana AI kündigt die Einführung von AI Scientist an, dem weltweit ersten KI-System für automatisierte wissenschaftliche Forschung und offene Entdeckung!

Von der Konzeption, dem Schreiben von Code, der Durchführung von Experimenten und der Zusammenfassung der Ergebnisse bis hin zum Verfassen ganzer Arbeiten und der Durchführung von Peer-Reviews läuten KI-Wissenschaftler eine neue Ära der KI-gesteuerten wissenschaftlichen Forschung und beschleunigten Entdeckung ein.

Im Prinzip kann es den wissenschaftlichen Forschungsprozess kontinuierlich wiederholen und Ideen auf offene Weise iterativ entwickeln, genau wie menschliche Wissenschaftler.

Die Forscher demonstrierten seine Vielseitigkeit, indem sie es auf drei verschiedene Teilbereiche des maschinellen Lernens anwendeten: Diffusionsmodellierung, transformatorbasierte Sprachmodellierung und Lerndynamik.

Jede Idee wird umgesetzt und zu einem vollständigen Papier für weniger als 15 $ pro Papier entwickelt. Um die generierten Arbeiten zu bewerten, haben die Forscher einen automatisierten Prüfer mit nahezu menschlicher Leistung bei der Bewertung der Papierbewertungen entwickelt und validiert.

KI-Wissenschaftler können Arbeiten schreiben, die die Akzeptanzschwelle der Top-Konferenzen zum Thema maschinelles Lernen überschreiten.

Die Einführung von AI Scientist markiert einen wichtigen Schritt zur Ausschöpfung des vollen Potenzials künstlicher Intelligenz in der wissenschaftlichen Forschung. Durch die Automatisierung des Entdeckungsprozesses und die Integration KI-gesteuerter Überprüfungssysteme öffnet es die Tür zu endlosen Möglichkeiten für Innovation und Problemlösung in den anspruchsvollsten Bereichen der Wissenschaft und Technologie.

Relevante Forschung mit dem Titel „

The AI ​​​​Scientist: Towards Fully Automated Open-Ended Scientific Discovery

“ wurde am 12. August auf der Preprint-Plattform arXiv veröffentlicht.

Link zum Papier:

https://arxiv.org/abs/2408.06292

Eine der Herausforderungen für künstliche Intelligenz besteht darin, Agenten zu entwickeln, die wissenschaftliche Forschung betreiben und neues Wissen entdecken können. Obwohl hochmoderne Modelle als Hilfswerkzeuge für menschliche Wissenschaftler verwendet werden, etwa zum Brainstorming von Ideen, zum Schreiben von Code oder zur Durchführung von Vorhersageaufgaben, vervollständigen sie immer noch nur einen kleinen Teil des wissenschaftlichen Prozesses.

In der neuesten Forschung schlagen Wissenschaftler von Sakana AI das erste umfassende Framework für vollautomatisierte wissenschaftliche Entdeckungen vor, das es hochmodernen Sprachmodellen in großem Maßstab ermöglicht, unabhängig Forschung durchzuführen und ihre Ergebnisse zu kommunizieren.

KI-Wissenschaftler können neuartige Forschungsideen generieren, Code schreiben, Experimente durchführen, Ergebnisse visualisieren, ihre Ergebnisse beschreiben, indem sie eine vollständige wissenschaftliche Arbeit verfassen, und dann einen simulierten Überprüfungsprozess zur Bewertung durchführen.

Über AI Scientist

AI Scientist hat drei Hauptphasen: (1) Ideengenerierung, (2) experimentelle Iteration, (3) Papierschreiben. Nach der Erstellung führen die Forscher die vom LLM erstellten Rezensionen ein und validieren sie, um die Qualität der resultierenden Arbeit zu beurteilen.

Illustration: End-to-End-LLM-gesteuerter wissenschaftlicher Entdeckungsprozess, Konzeptillustration von AI Scientist. (Quelle: Papier)

Forscher stellen KI-Wissenschaftlern eine Startcodevorlage zur Verfügung, die einfache Basistrainingsläufe beliebter Modelle oder Benchmarks reproduziert. Dies könnte beispielsweise Code zum Trainieren eines kleinen Shakespeare-Transformators sein, ein klassischer Proof-of-Concept-Trainingslauf in der Verarbeitung natürlicher Sprache, der in wenigen Minuten abgeschlossen werden kann.

Dann steht es den KI-Wissenschaftlern frei, jede mögliche Forschungsrichtung zu erkunden. Die Vorlage enthält außerdem einen LaTeX-Ordner mit Stildateien und Abschnittsüberschriften sowie einfachem Plotcode. Im Allgemeinen beginnt jeder Durchlauf mit einem repräsentativen kleinen Experiment, das für das Themengebiet relevant ist.

Die Forscher erklärten: „Die Konzentration auf Experimente im kleinen Maßstab stellt keine grundsätzliche Einschränkung unserer Methode dar, sondern ist lediglich eine Frage der Recheneffizienz und der Rechenbeschränkungen unserer Ausrüstung.“

Warum ist das Schreiben einer Arbeit wichtig?

Angesichts der Tatsache, dass das übergeordnete Ziel von Wissenschaftlern darin besteht, wissenschaftliche Entdeckungen zu automatisieren, warum sollten Forscher dann wollen, dass KI-Wissenschaftler Arbeiten schreiben wie menschliche Wissenschaftler? Beispielsweise haben frühere KI-Systeme wie FunSearch und GNoME einst beeindruckende wissenschaftliche Entdeckungen in begrenzten Bereichen hervorgebracht, waren aber nicht in der Lage, wissenschaftliche Arbeiten zu verfassen.

Das Team ist davon überzeugt, dass es für KI-Wissenschaftler aus folgenden Gründen von entscheidender Bedeutung ist, wissenschaftliche Arbeiten zu verfassen, um ihre Erkenntnisse zu verbreiten: Erstens bietet das Schreiben von Arbeiten den Menschen eine gut interpretierbare Möglichkeit, von dem zu profitieren, was sie gelernt haben; Der Rahmen bestehender Konferenzen zum maschinellen Lernen ermöglicht es Wissenschaftlern, Bewertungen zu standardisieren. Drittens sind wissenschaftliche Arbeiten seit der Geburt der modernen Wissenschaft das Hauptmedium für die Verbreitung von Forschungsergebnissen.

Da das Papier natürliche Sprache verwenden und Diagramme und Codes enthalten kann, kann es flexibel jede Art von wissenschaftlicher Forschung und Erkenntnissen beschreiben. Fast jedes andere vorstellbare Format ist an ein Daten- oder wissenschaftliches Genre gebunden. Bis eine überlegene Alternative auftaucht (oder möglicherweise durch künstliche Intelligenz erfunden wird), ist das Team davon überzeugt, dass die Ausbildung von KI-Wissenschaftlern zum Verfassen wissenschaftlicher Arbeiten von entscheidender Bedeutung für ihre Integration in die breitere wissenschaftliche Gemeinschaft ist.

Abbildung: Vorschau auf das völlig unabhängig von AI Scientist erstellte Paper „Adaptive Dual-Scale Denoising“. (Quelle: Papier)

Über die Kosten

Der Rahmen hier ist flexibel genug, um effizient Forschung in verschiedenen Teilbereichen des maschinellen Lernens durchzuführen, einschließlich transformatorbasierter Sprachmodellierung, Lerndynamik neuronaler Netze und Diffusionsmodellierung. Das System ist äußerst kosteneffektiv, kostet etwa 15 US-Dollar pro Beitrag und produziert konferenzrelevante Beiträge, was seine Fähigkeit unterstreicht, die Forschung zu demokratisieren (ihre Zugänglichkeit zu erhöhen) und den wissenschaftlichen Fortschritt zu beschleunigen.

Zum Beispiel legt die vorläufige qualitative Analyse der Forscher von AI Scientist nahe, dass die resultierenden Arbeiten weitgehend informativ und neuartig sein können oder zumindest Ideen enthalten, die einer zukünftigen Forschung würdig sind.

Der tatsächliche Rechenaufwand, den das Team den KI-Wissenschaftlern für Experimente zur Verfügung stellt, ist nach aktuellen Maßstäben ebenfalls sehr gering. Bemerkenswert ist, dass die meisten Experimente der Forscher, die in einer Woche Hunderte von Arbeiten hervorbrachten, nur mit einem einzigen 8×NVIDIA H100-Knoten durchgeführt wurden. Wenn der Such- und Filterumfang in großem Umfang erweitert würde, könnten qualitativ hochwertigere Arbeiten erstellt werden.

In diesem Projekt entfielen die meisten Kosten für den Betrieb von AI Scientist auf die Kosten für die LLM-API-Codierung und das Verfassen von Papieren. Im Vergleich dazu waren die mit dem Betrieb des LLM-Reviewers verbundenen Kosten und der Rechenaufwand für die Durchführung der Experimente aufgrund der vom Team auferlegten Einschränkungen zur Reduzierung der Gesamtkosten vernachlässigbar.

Natürlich kann sich diese Kostenbeteiligung in Zukunft ändern, wenn KI-Wissenschaftler in anderen wissenschaftlichen Bereichen eingesetzt oder in größeren Computerexperimenten eingesetzt werden.

Offenes vs. geschlossenes Modell

Um die generierten Arbeiten quantitativ auszuwerten und zu optimieren, haben die Forscher zunächst einen automatisierten Papierprüfer erstellt und validiert. Die Ergebnisse zeigen, dass LLM zwar noch viel Raum für Optimierungen gibt, aber in der Lage ist, ziemlich genaue Bewertungen zu erstellen und bei verschiedenen Kennzahlen mit Menschen vergleichbare Ergebnisse zu erzielen.

Grafik: Das Violindiagramm zeigt die Verteilung der Bewertungen für von AI Scientist-Rezensenten erstellte Arbeiten in drei Bereichen und vier Basismodellen. (Quelle: Paper)

Durch die Anwendung dieses Gutachters auf von AI Scientist erstellte Arbeiten können Wissenschaftler die Bewertung von Arbeiten über die menschliche Begutachtung hinaus erweitern. Die Forscher fanden heraus, dass Sonnet 3.5 durchweg die besten Arbeiten hervorbrachte, von denen einige sogar die Akzeptanzschwelle automatisierter Papierprüfer auf Standardkonferenzen für maschinelles Lernen übertrafen.

Allerdings hat das Team keinen Grund zu der Annahme, dass AI Scientist seinen Vorsprung mit einem einzigen Modell wie Sonnet 3.5 behaupten kann. Forscher glauben, dass sich alle hochmodernen LLMs, einschließlich offener Modelle, weiter verbessern werden. Der Wettbewerb zwischen LLMs wird ihre Kommerzialisierung und Fähigkeiten erheblich steigern.

Abbildung: Auswertung des Paper-Review-Prozesses von AI Scientist zu ICLR 2022 OpenReview-Daten mit GPT-4o. (Quelle: Paper)

In diesem Projekt untersuchten die Forscher eine Vielzahl proprietärer LLMs, darunter GPT-4o und Sonnet, untersuchten aber auch die Verwendung offener Modelle wie DeepSeek und Llama-3. Es wurde festgestellt, dass das offene Modell erhebliche Vorteile wie geringere Kosten, garantierte Verfügbarkeit, größere Transparenz und größere Flexibilität bietet, allerdings bei etwas geringerer Qualität.

In Zukunft wollen die Forscher den vorgeschlagenen Entdeckungsprozess nutzen, um mithilfe offener Modelle selbstverbessernde künstliche Intelligenz in geschlossenen Systemen zu erzeugen.

Zukünftige Richtungen

Zu den unmittelbaren Verbesserungen von AI Scientist gehören möglicherweise die Integration visueller Funktionen zur besseren Handhabung von Diagrammen und Grafiken, die Einbeziehung von menschlichem Feedback und Interaktion zur Verbesserung der KI-Ausgabe sowie die Möglichkeit, dass AI Scientist neue Daten aus dem Internet extrahieren kann Modelle können den Umfang ihrer Experimente automatisch erweitern, sofern dies sicher ist.

Darüber hinaus können KI-Wissenschaftler ihre besten Ideen weiterverfolgen und sogar auf selbstreferenzielle Weise direkt an ihrem eigenen Code arbeiten. Tatsächlich wurde der größte Teil des Codes für das Projekt von Aider geschrieben. Die Ausweitung des Rahmenwerks auf andere wissenschaftliche Bereiche könnte seine Wirkung weiter ausbauen und den Weg für eine neue Ära der automatisierten wissenschaftlichen Entdeckung ebnen.

Entscheidend ist, dass sich zukünftige Arbeiten mit Zuverlässigkeits- und Halluzinationsproblemen befassen, möglicherweise durch eine tiefergehende automatisierte Validierung der gemeldeten Ergebnisse. Dies kann erreicht werden, indem Code und Experimente direkt verknüpft werden oder indem geprüft wird, ob ein automatisierter Verifizierer die Ergebnisse unabhängig reproduzieren kann.

Epilog

AI Scientist markiert den Beginn einer neuen Ära wissenschaftlicher Entdeckungen im maschinellen Lernen: Es bringt die transformativen Vorteile von KI-Agenten in den gesamten Forschungsprozess der KI selbst ein und bringt Wissenschaftler einer Welt näher, die unbegrenzte Entfaltungsmöglichkeiten bietet und erschwinglich Eine Welt, in der Kreativität und Innovation die schwierigsten Probleme der Welt lösen.

Letztendlich stellen wir uns ein wissenschaftliches Ökosystem vor, das vollständig auf KI basiert und nicht nur KI-gesteuerte Forscher, sondern auch Gutachter, Bereichsleiter und ganze Konferenzen umfasst. Wir glauben jedoch nicht, dass die Rolle menschlicher Wissenschaftler schwächer wird Wenn wir uns an neue Technologien anpassen und in der Nahrungskette aufsteigen, wird sich die Rolle der Wissenschaftler verändern“, sagten die Forscher in dem Papier.

Während aktuelle Iterationen von AI Scientist eine starke Fähigkeit zur Innovation auf der Grundlage bewährter Ideen (wie Diffusionsmodellierung oder Transformers) zeigen, bleibt die offene Frage, ob solche Systeme letztendlich in der Lage sein werden, wirklich paradigmenwechselnde Ideen zu entwickeln.

Werden zukünftige Versionen von AI Scientists in der Lage sein, so wirkungsvolle Ideen wie die Diffusionsmodellierung oder die nächste Transformer-Architektur zu entwickeln? Werden Maschinen irgendwann in der Lage sein, so grundlegende Konzepte wie künstliche neuronale Netze oder Informationstheorie zu erfinden?

„Wir glauben, dass AI Scientist ein ausgezeichneter Partner für Humanwissenschaftler sein wird, aber nur die Zeit wird es zeigen.“

GitHub Open-Source-Adresse: http://github.com/SakanaAI/AI-Scientist

Paper-Link : https://arxiv.org/abs/2408.06292

Referenzinhalt:

http://sakana.ai/ai-scientist/

https://x.com/SakanaAILabs/status/ 1823178623513239992.

https://mp.weixin.qq.com/s/-jjXBJAkdMEyl2JhRgwdaA

Das obige ist der detaillierte Inhalt vonDas Transformer-Autoren-Startup Sakana AI bringt AI Scientist auf den Markt, das erste vollautomatische KI-System für wissenschaftliche Entdeckungen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!