Système d'exploitation d'agent IA grand modèle open source : contrôlez les agents IA comme Windos

Cet article est réimprimé avec la permission de AIGC Open Community Veuillez contacter la source pour la réimpression.

Si vous souhaitez en savoir plus sur AIGC, veuillez visiter : 51CTO AI. Il possède de puissantes capacités d'automatisation et crée une nouvelle piste d'agent IA. Cependant, de nombreux problèmes doivent encore être résolus en matière de planification des sous-tâches, d’allocation des ressources et de collaboration entre les IA.

Des chercheurs de l'Université Rutgers ont donc développé AIOS, un système d'exploitation d'agent d'IA avec de grands modèles en son cœur. Il peut résoudre efficacement le problème du faible taux d'appel des ressources à mesure que le nombre d'agents IA augmente. Il peut également favoriser le changement de contexte entre les agents, implémenter des agents simultanés et maintenir le contrôle d'accès des agents.

Adresse Open source : https://github.com/agiresearch/AIOS

Adresse papier : https://arxiv.org/abs/2403.16971

L'architecture d'AIOS et ce que nous utilisons Le système d'exploitation du PC est similaire et est principalement divisé en trois blocs principaux : la couche application, la couche noyau et la couche matérielle. La seule différence est qu'AIOS crée un gestionnaire de noyau dans la couche noyau qui gère spécifiquement les tâches liées aux grands modèles.

La couche application

,

est principalement composée d'applications d'agents (par exemple, agents de voyages, agents mathématiques, agents de code, etc.) ; et grands modèles, OS Le système est principalement utilisé pour la gestion de fichiers, et le grand modèle est utilisé pour la planification et la gestion des agents IA

La couche matérielle se compose de périphériques matériels tels que le CPU, le GPU, la mémoire et les périphériques ; mais le cœur du grand modèle ne peut pas interagir directement avec le matériel. Au lieu de cela, les ressources matérielles sont gérées indirectement via des appels fournis par la couche noyau pour garantir l'intégrité et l'efficacité du système. AI Agent Scheduler

Le planificateur d'agent AI est principalement responsable de la planification et de l'optimisation raisonnables des demandes d'agent des grands modèles afin d'utiliser pleinement les ressources informatiques des grands modèles. Lorsque plusieurs agents lancent des requêtes vers un grand modèle en même temps, le planificateur doit trier les requêtes selon un algorithme de planification spécifique pour éviter qu'un seul agent n'occupe le grand modèle pendant une longue période et n'oblige les autres agents à attendre longtemps. .

De plus, la conception d'AIOS prend également en charge des stratégies de planification plus complexes, par exemple en tenant compte des dépendances entre les requêtes de proxy pour obtenir une allocation de ressources plus optimisée.

Lorsqu'il n'y a pas d'instruction de planification, les agents doivent exécuter les tâches une par une dans l'ordre, et les agents suivants doivent attendre longtemps Après avoir utilisé l'algorithme de planification, les demandes de chaque agent peuvent être entrelacées et exécuté en parallèle, réduisant considérablement le temps d'attente global et le délai de réponse

.

Context Manager

Étant donné que le processus de génération de grands modèles utilise généralement des recherches heuristiques telles que Beam Search, l'arbre de recherche sera progressivement construit et différents chemins seront évalués pour finalement donner les résultats.

Cependant, si un grand modèle est interrompu par le planificateur pendant le processus de génération, afin d'éviter de perdre tous les états intermédiaires et de gaspiller les calculs précédents, le gestionnaire de contexte prendra un instantané de l'état actuel de l'arborescence Beam Search (y compris le probabilité de chaque chemin, etc.) .

Lorsque le grand modèle récupère les ressources d'exécution, le gestionnaire de contexte peut restaurer avec précision l'état précédent de Beam Search à partir du point d'interruption et continuer à générer les parties restantes, garantissant ainsi l'intégrité et l'exactitude du résultat final.

De plus, la plupart des grands modèles ont des limites de longueur de contexte, et le contexte d'entrée dans les scénarios réels dépasse souvent cette limite. Pour résoudre ce problème, le gestionnaire de contexte intègre des fonctions telles que le résumé de texte, qui peuvent compresser ou bloquer des contextes longs, permettant ainsi aux grands modèles de comprendre et de traiter efficacement les informations contextuelles longues.

Memory Manager

Le gestionnaire de mémoire est principalement responsable de la gestion des ressources de mémoire à court terme et de la fourniture d'un stockage temporaire efficace pour les journaux d'interaction et les données intermédiaires de chaque agent IA.

Lorsque l'agent IA est en attente d'exécution ou en cours d'exécution, les données dont il a besoin seront enregistrées dans le bloc mémoire alloué par le gestionnaire de mémoire. Une fois la tâche de l'agent terminée, le bloc mémoire correspondant sera également recyclé par le système pour garantir une utilisation efficace des ressources mémoire.

AIOS allouera de la mémoire indépendante à chaque agent IA et réalisera l'isolation de la mémoire entre les différents agents via le gestionnaire d'accès. À l'avenir, AIOS introduira des mécanismes de partage de mémoire plus complexes et des stratégies de mise en cache hiérarchique pour optimiser davantage les performances globales de l'agent IA.

Si vous souhaitez en savoir plus sur AIGC, veuillez visiter : 51CTO AI.x Community

https://www.51cto.com/aigc/

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!