オープンソースの大規模モデル AI エージェント オペレーティング システム: Windos のような AI エージェントを制御

この記事は AIGC Open Community の許可を得て転載していますので、転載については出典元にお問い合わせください。

AIGC の詳細については、51CTO AI.x コミュニティをご覧ください。

https://www.51cto.com/aigc/

昨年、AutoGPT の登場により、AI エージェントの強力な自動化機能が認識され、新しい AI エージェント トラックが作成されました。しかし、サブタスクのスケジューリング、リソースの割り当て、AI間の連携などには、解決すべき課題がまだ多く残されている。

そこで、ラトガース大学の研究者たちは、大規模なモデルを中核とする AI エージェント オペレーティング システムである AIOS を開発しました。 AI エージェントの数が増加するにつれてリソースの呼び出しレートが低下するという問題を効果的に解決でき、エージェント間のコンテキストの切り替えを促進し、同時エージェントを実装し、エージェントのアクセス制御を維持することもできます。

オープンソース アドレス: https://github.com/agiresearch/AIOS

ペーパー アドレス: https://arxiv.org/ abs /2403.16971

##AIOS のアーキテクチャは、私たちが使用する PC オペレーティング システムと似ており、主にアプリケーション層とカーネル層に分かれています。およびハードウェア層チャンク 。唯一の違いは、AIOS が、大規模モデルに関連するタスクを特に管理するカーネル マネージャーをカーネル層に構築することです。

アプリケーション層 、 は主にプロキシ アプリケーションで構成されます (例:カーネル層は従来の OS システムと大規模モデルを組み合わせて開発され、OS システムは主にファイル管理に使用され、大規模モデルはスケジュールと管理に使用されます。 AI エージェント;

ハードウェア層は、CPU、GPU、メモリ、周辺機器などのハードウェア デバイスで構成されますが、大規模モデルのカーネルはハードウェアと直接対話できません。カーネル層によって提供される呼び出しを通じてハードウェア リソースを間接的に管理し、システムの整合性と効率を確保します。

AI エージェント スケジューラー

AI エージェント スケジューラーは主に、大規模なモデルのエージェント リクエストを合理的にスケジュールし、最適化して完全に実行する責任を負います。大規模モデルの使用 モデルの計算リソース。複数のエージェントが大規模なモデルへのリクエストを同時に開始する場合、スケジューラは、単一のエージェントが大規模なモデルを長時間占有し、他のエージェントが長時間待機することを避けるために、特定のスケジューリング アルゴリズムに従ってリクエストを並べ替える必要があります。 。

さらに、AIOS の設計では、より最適化されたリソース割り当てを実現するためにプロキシ リクエスト間の依存関係を考慮するなど、より複雑なスケジューリング戦略もサポートされています。

スケジューリング指示がない場合、エージェントはタスクを 1 つずつ順番に実行する必要があり、後続のエージェントは長時間待機する必要があります;スケジューリング アルゴリズムを使用した後を使用すると、各エージェントのリクエストをインターリーブして並列実行できるため、全体的な待機時間と応答遅延が大幅に削減されます。

コンテキスト マネージャー

大規模モデル生成プロセスでは通常、ビーム検索などのヒューリスティック検索が使用されるため、検索ツリーは徐々に構築され、異なるものになります。パスが評価され、最終的に結果が得られます。

ただし、生成プロセス中に大規模なモデルがスケジューラによって中断された場合、中間状態がすべて失われ、以前の計算が無駄になることを避けるために、コンテキスト マネージャーは現在のビーム検索を更新します。ツリーの状態（各パスの確率などを含む）を取得してスナップショットを保存します。

#大規模なモデルが実行リソースを取り戻すと、コンテキスト マネージャーは中断時点から以前のビーム検索状態を正確に再開し、残りの部分は、最終結果の完全性と正確性を保証します。

さらに、ほとんどの大規模モデルにはコンテキストの長さ制限があり、実際のシナリオの入力コンテキストはこの制限を超えることがよくあります。この問題を解決するために、コンテキスト マネージャーは、長いコンテキストを圧縮またはブロックできるテキスト要約などの機能を統合し、大規模なモデルが長いコンテキスト情報を効率的に理解して処理できるようにします。

メモリ マネージャー

メモリ マネージャーは主に、短期記憶リソースを管理し、各 AI に効率的な対話ログと中間データを提供する責任があります。エージェントの一時保管場所です。

When the AI ​​agent is waiting for execution or running, the data it requires will be saved in the memory block allocated by the memory manager. Once the agent task ends, the corresponding memory block will also be recycled by the system to ensure efficient utilization of memory resources.

AIOS will allocate independent memory to each AI agent and achieve memory isolation between different agents through the access manager. In the future, AIOS will introduce more complex memory sharing mechanisms and hierarchical caching strategies to further optimize the overall performance of the AI ​​agent.

To learn more about AIGC, please visit: 51CTO AI.x Community

https://www.51cto.com/ aigc/

以上がオープンソースの大規模モデル AI エージェント オペレーティング システム: Windos のような AI エージェントを制御の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。