開源大模型AI代理作業系統：像Windos一樣，操控AI代理

この記事は AIGC Open Community の許可を得て転載していますので、転載については出典元にお問い合わせください。

AIGC の詳細については、51CTO AI.x コミュニティをご覧ください。

https://www.51cto.com/aigc/

昨年、AutoGPT の登場により、AI エージェントの強力な自動化機能が認識され、新しい AI エージェント トラックが作成されました。しかし、サブタスクのスケジューリング、リソースの割り当て、AI間の連携などには、解決すべき課題がまだ多く残されている。

そこで、ラトガース大学の研究者たちは、大規模なモデルを中核とする AI エージェント オペレーティング システムである AIOS を開発しました。 AI エージェントの数が増加するにつれてリソースの呼び出しレートが低下するという問題を効果的に解決でき、エージェント間のコンテキストの切り替えを促進し、同時エージェントを実装し、エージェントのアクセス制御を維持することもできます。

オープンソース アドレス: https://github.com/agiresearch/AIOS

ペーパー アドレス: https://arxiv.org/ abs /2403.16971

##AIOS のアーキテクチャは、私たちが使用する PC オペレーティング システムと似ており、主にアプリケーション層とカーネル層に分かれています。およびハードウェア層チャンク 。唯一の違いは、AIOS が、大規模モデルに関連するタスクを特に管理するカーネル マネージャーをカーネル層に構築することです。

アプリケーション層 、 は主にプロキシ アプリケーションで構成されます (例:カーネル層は従来の OS システムと大規模モデルを組み合わせて開発され、OS システムは主にファイル管理に使用され、大規模モデルはスケジュールと管理に使用されます。 AI エージェント;

ハードウェア層は、CPU、GPU、メモリ、周辺機器などのハードウェア デバイスで構成されますが、大規模モデルのカーネルはハードウェアと直接対話できません。カーネル層によって提供される呼び出しを通じてハードウェア リソースを間接的に管理し、システムの整合性と効率を確保します。

AI エージェント スケジューラー

AI エージェント スケジューラーは主に、大規模なモデルのエージェント リクエストを合理的にスケジュールし、最適化して完全に実行する責任を負います。大規模モデルの使用 モデルの計算リソース。複数のエージェントが大規模なモデルへのリクエストを同時に開始する場合、スケジューラは、単一のエージェントが大規模なモデルを長時間占有し、他のエージェントが長時間待機することを避けるために、特定のスケジューリング アルゴリズムに従ってリクエストを並べ替える必要があります。 。

さらに、AIOS の設計では、より最適化されたリソース割り当てを実現するためにプロキシ リクエスト間の依存関係を考慮するなど、より複雑なスケジューリング戦略もサポートされています。

スケジューリング指示がない場合、エージェントはタスクを 1 つずつ順番に実行する必要があり、後続のエージェントは長時間待機する必要があります;スケジューリング アルゴリズムを使用した後を使用すると、各エージェントのリクエストをインターリーブして並列実行できるため、全体的な待機時間と応答遅延が大幅に削減されます。

コンテキスト マネージャー

大規模モデル生成プロセスでは通常、ビーム検索などのヒューリスティック検索が使用されるため、検索ツリーは徐々に構築され、異なるものになります。パスが評価され、最終的に結果が得られます。

ただし、生成プロセス中に大規模なモデルがスケジューラによって中断された場合、中間状態がすべて失われ、以前の計算が無駄になることを避けるために、コンテキスト マネージャーは現在のビーム検索を更新します。ツリーの状態（各パスの確率などを含む）を取得してスナップショットを保存します。

#大規模なモデルが実行リソースを取り戻すと、コンテキスト マネージャーは中断時点から以前のビーム検索状態を正確に再開し、残りの部分は、最終結果の完全性と正確性を保証します。

さらに、ほとんどの大規模モデルにはコンテキストの長さ制限があり、実際のシナリオの入力コンテキストはこの制限を超えることがよくあります。この問題を解決するために、コンテキスト マネージャーは、長いコンテキストを圧縮またはブロックできるテキスト要約などの機能を統合し、大規模なモデルが長いコンテキスト情報を効率的に理解して処理できるようにします。

メモリ マネージャー

メモリ マネージャーは主に、短期記憶リソースを管理し、各 AI に効率的な対話ログと中間データを提供する責任があります。エージェントの一時保管場所です。

當AI代理處於等待執行或正在運行狀態時,其所需的資料將被保存在由記憶體管理器分配的記憶體區塊中。一旦代理任務結束,對應的記憶體區塊也會被系統回收,以確保記憶體資源的高效利用。

AIOS會為每個AI代理程式分配獨立的記憶體,並透過存取管理器來實現不同代理程式之間記憶體隔離。未來，AIOS會引入更複雜的記憶體共享機制和層級快取策略,以進一步優化AI代理的整體效能。

想了解更多AIGC的內容，請造訪：51CTO AI.x社群

https://www.51cto.com/ aigc/

#

以上是開源大模型AI代理作業系統：像Windos一樣，操控AI代理的詳細內容。更多資訊請關注PHP中文網其他相關文章！