Open-Source-Betriebssystem für KI-Agenten großer Modelle: Steuern Sie KI-Agenten wie Windos

Dieser Artikel wurde mit Genehmigung der AIGC Open Community nachgedruckt. Bitte wenden Sie sich für einen Nachdruck an die Quelle.

Wenn Sie mehr über AIGC erfahren möchten, besuchen Sie bitte: 51CTO AI Es verfügt über leistungsstarke Automatisierungsfunktionen und erstellt eine neue KI-Agentenspur. Es gibt jedoch noch viele Probleme, die bei der Planung von Unteraufgaben, der Ressourcenzuweisung und der Zusammenarbeit zwischen KI gelöst werden müssen.

So entwickelten Forscher der Rutgers University AIOS, ein KI-Agenten-Betriebssystem mit großen Modellen als Kern. Es kann das Problem der niedrigen Ressourcenanrufrate effektiv lösen, wenn die Anzahl der KI-Agenten zunimmt. Es kann auch den Kontextwechsel zwischen Agenten fördern, gleichzeitige Agenten implementieren und die Agentenzugriffskontrolle aufrechterhalten.

Open-Source-Adresse: https://github.com/agiresearch/AIOS

Papieradresse: https://arxiv.org/abs/2403.16971

Die Architektur von AIOS und Was wir verwenden Das PC-Betriebssystem ist ähnlich und hauptsächlich in drei Hauptblöcke unterteilt: Anwendungsschicht, Kernelschicht und Hardwareschicht. Der einzige Unterschied besteht darin, dass AIOS einen Kernel-Manager in der Kernel-Schicht baut, der speziell Aufgaben im Zusammenhang mit großen Modellen verwaltet.

Die Anwendungsschicht

,

besteht hauptsächlich aus Agentenanwendungen (z. B. Reisebüros, Mathematikagenten, Codeagenten usw.); die Kernelschicht wird durch die Kombination traditioneller Betriebssystemsysteme entwickelt und große Modelle, OS Das System wird hauptsächlich für die Dateiverwaltung verwendet, und das große Modell wird für die Planung und Verwaltung von KI-Agenten verwendet

Die Hardwareschicht besteht aus Hardwaregeräten wie CPU, GPU, Speicher und Peripheriegeräten. Der Kern des großen Modells kann jedoch nicht direkt mit der Hardware interagieren. Stattdessen werden Hardwareressourcen indirekt über von der Kernelschicht bereitgestellte Aufrufe verwaltet, um die Systemintegrität und -effizienz sicherzustellen. AI Agent Scheduler

Der AI Agent Scheduler ist hauptsächlich für die angemessene Planung und Optimierung der Agentenanforderungen großer Modelle verantwortlich, um die Rechenressourcen großer Modelle voll auszunutzen. Wenn mehrere Agenten gleichzeitig Anfragen an ein großes Modell initiieren, muss der Scheduler die Anfragen nach einem bestimmten Planungsalgorithmus sortieren, um zu vermeiden, dass ein einzelner Agent das große Modell lange Zeit belegt und andere Agenten lange warten müssen .

Darüber hinaus unterstützt das Design von AIOS auch komplexere Planungsstrategien, beispielsweise unter Berücksichtigung der Abhängigkeiten zwischen Proxy-Anfragen, um eine optimierte Ressourcenzuteilung zu erreichen.

Wenn es keine Planungsanweisung gibt, müssen die Agenten Aufgaben einzeln der Reihe nach ausführen, und nachfolgende Agenten müssen lange warten. Nach Verwendung des Planungsalgorithmus können die Anforderungen jedes Agenten verschachtelt werden parallel ausgeführt, was die Gesamtwartezeit und Reaktionsverzögerung erheblich reduziert

.

Kontextmanager

Da der Generierungsprozess großer Modelle im Allgemeinen heuristische Suchen wie Beam Search verwendet, wird der Suchbaum schrittweise aufgebaut und verschiedene Pfade werden ausgewertet, um schließlich die Ergebnisse zu liefern.

Wenn jedoch ein großes Modell während des Generierungsprozesses vom Scheduler unterbrochen wird, erstellt der Kontextmanager einen Schnappschuss des aktuellen Beam Search-Baumstatus (einschließlich der, um den Verlust aller Zwischenzustände und die Verschwendung früherer Berechnungen zu vermeiden). Wahrscheinlichkeit jedes Pfades usw.).

Wenn das große Modell wieder Ausführungsressourcen erhält, kann der Kontextmanager den vorherigen Beam Search-Status ab dem Punkt der Unterbrechung genau wiederherstellen und mit der Generierung der verbleibenden Teile fortfahren, wodurch die Integrität und Genauigkeit des Endergebnisses sichergestellt wird.

Darüber hinaus unterliegen die meisten großen Modelle Einschränkungen der Kontextlänge, und der Eingabekontext in tatsächlichen Szenarien überschreitet häufig diese Grenze. Um dieses Problem zu lösen, integriert der Kontextmanager Funktionen wie die Textzusammenfassung, mit der lange Kontexte komprimiert oder blockiert werden können, sodass große Modelle lange Kontextinformationen effizient verstehen und verarbeiten können.

Speichermanager

Der Speichermanager ist hauptsächlich für die Verwaltung der Kurzzeitspeicherressourcen und die Bereitstellung eines effizienten temporären Speichers für die Interaktionsprotokolle und Zwischendaten jedes KI-Agenten verantwortlich.

Wenn der KI-Agent auf die Ausführung oder Ausführung wartet, werden die benötigten Daten in dem vom Speichermanager zugewiesenen Speicherblock gespeichert. Sobald die Agentenaufgabe beendet ist, wird auch der entsprechende Speicherblock vom System recycelt, um eine effiziente Nutzung der Speicherressourcen sicherzustellen.

AIOS weist jedem KI-Agenten unabhängigen Speicher zu und erreicht über den Zugriffsmanager eine Speicherisolation zwischen verschiedenen Agenten. In Zukunft wird AIOS komplexere Speicherfreigabemechanismen und hierarchische Caching-Strategien einführen, um die Gesamtleistung des KI-Agenten weiter zu optimieren.

Wenn Sie mehr über AIGC erfahren möchten, besuchen Sie bitte: 51CTO AI.x Community

https://www.51cto.com/aigc/

Das obige ist der detaillierte Inhalt vonOpen-Source-Betriebssystem für KI-Agenten großer Modelle: Steuern Sie KI-Agenten wie Windos. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!