初の完全自動科学発見 AI システム、Transformer 作者のスタートアップ、Sakana AI が AI Scientist を発表

編集者 | ScienceAI

1年前、GoogleのTransformer論文の最後の著者であるLlion Jones氏は起業するために退職し、元Google研究者のDavid Ha氏と人工知能会社Sakana AIを共同設立した。さかな AI は、自然からインスピレーションを得た知能に基づいて新しい基礎モデルを作成すると主張しています。

さかなAIが解答用紙を提出しました。

Sakana AI は、自動科学研究とオープンディスカバリーのための世界初の AI システムである AI Scientist のリリースを発表します!

AI 科学者は、着想、コードの作成、実験の実行、結果の要約から、論文全体の執筆と査読の実施に至るまで、AI 主導の科学研究と発見の加速の新時代を導きます。

原理的には、人間の科学者と同じように、科学研究プロセスを継続的に繰り返し、オープンな方法でアイデアを反復的に発展させることができます。研究者らは、拡散モデリング、Transformer ベースの言語モデリング、学習ダイナミクスという機械学習の 3 つの異なるサブフィールドにそれを適用することで、その多用途性を実証しました。

各アイデアは、論文あたり 15 ドル未満で実装され、完全な論文に発展します。生成された論文を評価するために、研究者らは論文スコアの評価において人間に近いパフォーマンスを備えた自動レビューアを設計し、検証しました。

AI 科学者は、トップの機械学習カンファレンスの受理基準を超える論文を書くことができます。

AI Scientist の立ち上げは、科学研究における人工知能の可能性を最大限に実現するための重要な一歩を示しています。発見プロセスを自動化し、AI 主導のレビュー システムを統合することにより、科学技術の最も困難な分野におけるイノベーションと問題解決の無限の可能性への扉が開かれます。

「

AI 科学者: 完全に自動化されたオープンエンドの科学的発見に向けて

」と題された関連研究が、8 月 12 日にプレプリント プラットフォーム arXiv で公開されました。

紙のリンク:

https://arxiv.org/abs/2408.06292

人工知能が直面する課題の 1 つは、科学研究を実施し、新しい知識を発見できるエージェントを開発することです。最先端のモデルは、アイデアのブレインストーミング、コードの作成、予測タスクの実行など、人間の科学者にとって補助的なツールとして使用されてきましたが、それでも科学プロセスのほんの一部しか完了しません。

最新の研究で、Sakana AI の科学者たちは、完全に自動化された科学的発見のための初の包括的なフレームワークを提案し、最先端の大規模言語モデルが独立して研究を実施し、その結果を伝達できるようにします。

AI 科学者は、新しい研究アイデアを生成し、コードを作成し、実験を実行し、結果を視覚化し、完全な科学論文を書いて発見を説明し、評価のためのシミュレーション レビュー プロセスを実行できます。

AI Scientist について

AI Scientist には、(1) アイデアの生成、(2) 実験の反復、(3) 論文執筆の 3 つの主要な段階があります。執筆が完了すると、研究者は LLM によって生成されたレビューを導入および検証し、結果として得られる論文の品質を評価します。

イラスト: エンドツーエンドの LLM 主導の科学的発見プロセス AI 科学者の概念図。 (出典: 論文)

研究者は AI 科学者に、人気のあるモデルやベンチマークの軽量ベースライン トレーニング実行を再現する開始コード テンプレートを提供します。たとえば、これはシェイクスピアに基づいて小さなトランスフォーマーをトレーニングするためのコードである可能性があります。これは、数分で完了できる自然言語処理で実行される古典的な概念実証トレーニングです。

その後、AI 科学者は、考えられる研究の方向性を自由に探索できます。テンプレートには、スタイル ファイルとセクション ヘッダー、および単純なプロット コードを含む LaTeX フォルダーも含まれています。通常、各実行は、トピック領域に関連する代表的な小規模実験から始まります。

研究者らは、「小規模な実験に集中することは、私たちの方法の根本的な制限ではなく、単に計算効率と私たちの装置の計算限界の問題です。

なぜ論文を書くことが重要なのでしょうか?」

科学者の全体的な目標が科学的発見を自動化することであることを考えると、なぜ研究者は AI 科学者に人間の科学者と同じように論文を書くことを望むのでしょうか?たとえば、FunSearch や GNoME などの以前の AI システムは、かつては限られた分野で印象的な科学的発見を生み出しましたが、論文を書くことはできませんでした。

チームは、AI 科学者が研究結果を広めるために科学論文を書くことが重要であると考えています。第一に、論文を書くことは、人間が学んだことから利益を得る高度に解釈可能な方法を提供することです。第二に、書かれた論文を社内でレビューすることです。既存の機械学習カンファレンスの枠組みにより、科学者は評価を標準化できます。第三に、現代科学の誕生以来、科学論文が研究結果を広める主な媒体となってきました。

論文では自然言語を使用でき、プロットやコードを含めることができるため、あらゆる種類の科学研究や発見を柔軟に記述することができます。考えられる他のほとんどすべての形式は、何らかのデータまたは科学ジャンルに固定されています。より優れた代替手段が出現するまで（または人工知能によって発明される可能性がある）、AI 科学者をトレーニングして科学論文を書くことが、彼らをより広範な科学コミュニティに統合するために重要であるとチームは考えています。

イラスト: AI Scientist によって完全に独立して生成された「適応デュアルスケールノイズ除去」論文のプレビュー。 (出典: 論文)

コストについて

ここでのフレームワークは、トランスフォーマーベースの言語モデリング、ニューラルネットワーク学習ダイナミクス、拡散モデリングなど、機械学習のさまざまなサブフィールドで効率的に研究を行うのに十分な柔軟性を備えています。このシステムは費用対効果が高く、論文あたりのコストは約 15 ドルで、会議関連の論文を作成し、研究を民主化し (アクセスしやすさを高め)、科学の進歩を加速する能力を強調しています。

たとえば、AI Scientist に関する研究者による予備的な定性分析では、結果として得られる論文が広く有益で斬新なものであるか、少なくとも将来の研究に値するアイデアが含まれている可能性があることが示唆されています。

実験のためにチームが AI 科学者に割り当てた実際のコンピューティング量も、現在の基準からすると非常に少ないです。注目すべき点は、1 週間で数百の論文を生成した研究者の実験のほとんどが、単一の 8x NVIDIA H100 ノードのみを使用して実行されたことです。検索とフィルタリングの範囲が大規模に拡張されれば、より高品質の論文が生成される可能性があります。

このプロジェクトでは、AI Scientist の実行コストのほとんどは、LLM API コーディングと論文執筆のコストに関連していました。比較すると、LLM レビューアの実行に関連するコストと実験を実施するための計算コストは​​、全体のコストを削減するためにチームによって課された制約により、ごくわずかでした。

もちろん、AI 科学者が他の科学分野に適用されたり、大規模な計算実験に使用されたりした場合、このコスト分担は将来変更される可能性があります。

オープンモデルとクローズドモデル

生成された論文を定量的に評価し、最適化するために、研究者はまず自動論文レビューアを作成して検証しました。結果は、まだ最適化の余地がたくさんあるものの、LLM がかなり正確なレビューを生成し、さまざまな指標で人間と同等の結果を達成できることを示しています。

グラフィック: Violin グラフは、AI Scientist の査読者が作成した論文のスコアの分布を 3 つの領域と 4 つの基本モデルで示しています。 (出典: 論文)

AI Scientist によって生成された論文にこのレビューアーを適用すると、科学者は人間によるレビューを超えて論文評価を拡張できます。研究者らは、Sonnet 3.5 が一貫して最高の論文を生成し、その中には標準的な機械学習カンファレンスの自動論文査読者の合格基準を超えるものもあったことがわかりました。

しかし、チームは AI Scientist が Sonnet 3.5 のような単一モデルでリードを維持すると期待する理由はありません。研究者らは、オープン モデルを含むすべての最先端の LLM が今後も改善されると信じています。 LLM 間の競争により、LLM のコモディティ化と能力が大幅に向上します。

イラスト: GPT-4o を使用した ICLR 2022 OpenReview データに対する AI 科学者の論文レビュー プロセスの評価。 (出典: 論文)

このプロジェクトでは、研究者らは GPT-4o や Sonnet を含むさまざまな独自の LLM を研究しましたが、DeepSeek や Llama-3 などのオープン モデルの使用も調査しました。オープン モデルには、品質は若干低いものの、コストの削減、可用性の保証、透明性の向上、柔軟性の向上など、大きな利点があることがわかりました。

将来的に、研究者らは、提案された発見プロセスを使用して、オープンモデルを使用した閉ループシステムで自己改善型人工知能を生成することを目指しています。

今後の方向性

AI Scientist の当面の改善には、チャートやグラフをより適切に処理するためのビジュアル機能の統合、AI の出力を改善するための人間のフィードバックと対話の組み込み、AI Scientist がインターネットから新しいデータやデータを抽出できるようにすることが含まれる可能性があります。安全であれば、モデルは実験の範囲を自動的に拡張します。

さらに、AI 科学者は、自分の最良のアイデアをフォローアップしたり、自己参照的な方法で自分のコードに直接作業したりすることもできます。実際、プロジェクトのコードのほとんどは Aider によって書かれました。この枠組みを他の科学分野に拡張すれば、その影響はさらに拡大し、自動化された科学的発見の新時代への道が開かれる可能性があります。

重要なのは、将来の作業では、おそらく報告された結果のより詳細な自動検証を通じて、信頼性と幻覚の問題に対処する必要があるということです。これは、コードと実験を直接リンクするか、自動検証機能が結果を独立して再現できるかどうかを確認することによって実現できます。

エピローグ

AI Scientist は、機械学習における科学的発見の新時代の始まりを示します。AI エージェントの革新的な利点を AI 自体の研究プロセス全体にもたらし、科学者を無限の可能性を解き放つ世界に近づけます。創造性とイノベーションが世界で最も困難な問題を解決する世界。

最終的には、「私たちは、AI主導の研究者だけでなく、審査員、エリアチェア、会議全体も含めて、完全にAIによって推進される科学エコシステムを構想しています。しかし、私たちは人間の科学者の役割が弱まるとは考えていません。新しい技術に適応し、食物連鎖の上位に進むと、科学者の役割も変わるだろう」と研究者らは論文で述べている。

AI Scientist の現在の反復は、拡散モデリングやトランスフォーマーなどの実績のあるアイデアに基づいて革新する強力な能力を実証していますが、そのようなシステムが最終的に真にパラダイムを変えるアイデアを思いつくことができるかどうかは未解決の疑問のままです。

将来のバージョンの AI Scientists は、拡散モデリングと同じくらい影響力のあるアイデアを思いつくことができるでしょうか、あるいは次の Transformer アーキテクチャを思いつくことができるでしょうか?機械は最終的に、人工ニューラル ネットワークや情報理論と同じくらい基本的な概念を発明できるようになるのでしょうか?

「AI Scientist は人間の科学者にとって優れたパートナーになると信じていますが、それは時間が経てばわかります。」

GitHub オープンソース アドレス: http://github.com/SakanaAI/AI-Scientist

：https://arxiv.org/abs/2408.06292

参考コンテンツ：

http://sakana.ai/ai-scientist/

https://x.com/SakanaAILabs/status/ 1823178623513239992

https://mp.weixin.qq.com/s/-jjXBJAkdMEyl2JhRgwdaA

以上が初の完全自動科学発見 AI システム、Transformer 作者のスタートアップ、Sakana AI が AI Scientist を発表の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。