L’« usine d’assemblage » intelligente d’Alibaba est open source ! 0 expérience pour gérer des dizaines de milliers d’agents simultanément

Faites du développement multi-agents des éléments de base, le cadre de programmation multi-agents open source et la plateforme de développement d'Alibaba Tongyi Lab AgentScope.

Cette plate-forme est spécialement conçue pour les développeurs d'applications multi-agents, dans le but de fournir une expérience de programmation très facile à utiliser, une garantie d'exécution stable et fiable, et fournit aux développeurs un support technique distribué et multimodal.

Il dispose d'API de modèles intégrées pour diverses plates-formes telles que OpenAI, DashScope, Gemini, Ollama, etc., et est profondément compatible avec l'écosystème open source actuel de grands modèles.

AgentScope fournit une variété de fonctions prêtes à l'emploi et vous pouvez créer des applications multi-agents par simple glisser-déposer.

Même les développeurs sans expérience en développement distribué peuvent facilement atteindre des dizaines de milliers de niveaux de concurrence multi-agents sur la plateforme AgentScope.

Afin de permettre à davantage d'utilisateurs de développer rapidement et facilement leurs propres applications multi-agents. AgentScope fournit les fonctions suivantes :

• Paradigme de programmation par glisser-déposer—AgentScope Workstation : Fournit aux utilisateurs une interface de développement visuelle par glisser-déposer
• Assistant de programmation interactif—AgentScope Copilot  : Répondez aux questions des développeurs sur AgentScope
• Processus de développement transparent et contrôlable - surveillance des applications en temps réel : Surveillance en temps réel des coûts d'exploitation des applications et du statut multi-agent pour obtenir un développement transparent et contrôlable
• Riches ressources de développement : Facilitez le développement secondaire rapide et pratique, en créant des applications sans "repartir de zéro". .

Ici, l'expérience en programmation n'est plus un facteur qui limite votre imagination. Chaque développeur peut sélectionner et faire glisser ses grands modèles, agents et pipelines préférés dans la riche barre d'outils sans codage, et les combiner librement comme des blocs de construction pour créer des applications multi-agents uniques et innovantes.

Afin de garantir que ces applications multi-agents créées par glisser-déposer sont réellement utilisables, AgentScope Workstation introduit une vérification de règles statiques pour garantir l'exactitude de l'application. Cela garantit une caractérisation correcte de l’application.

Pour les développeurs avancés recherchant une personnalisation plus poussée et un développement en profondeur, AgentScope Workstation fournit également un support solide.

Les développeurs peuvent soit exporter l'application en tant qu'informations de configuration et l'exécuter à l'aide du moteur AgentScope Workstation, soit utiliser AgentScope Workstation Compiler pour convertir les informations de configuration en code Python en un seul clic. De cette manière, les développeurs peuvent modifier et optimiser davantage le code pour obtenir des ajustements d'application plus raffinés et personnalisés.

AgentScope Copilot

AgentScope Copilot

est un assistant de développement construit sur le framework AgentScope lui-même. Il est conçu pour aider les développeurs à résoudre les problèmes rencontrés dans le processus de développement d'applications multi-agents. Chat de groupe multi-agents

(Conversation multi-agents) , génération de récupération de données (Génération de récupération augmentée, RAG) , appel d'agent (Mention) et bien d'autres fonctionnalités. En interagissant avec AgentScope Copilot, les développeurs peuvent interagir avec l'assistant de guidage (assistant de guide) pour obtenir de l'aide directement ; ils peuvent également appeler des assistants d'agent dédiés, tels que l'assistant Q&A (assistant de tutorat)

ou l'assistant de codage de code

( Coding Assistant) pour obtenir des réponses plus professionnelles et spécifiques. Plus précisément, l'assistant de programmation de code peut aider les développeurs à clarifier rapidement la définition et l'utilisation de chaque module du framework et à fournir de meilleures suggestions de programmation.

Il convient de mentionner qu'AgentScope Copilot lui-même est construit sur la base du module RAG du framework AgentScope. Il prend en charge les frameworks de récupération de données populaires tels que LlamaIndex, ainsi que plusieurs types de bases de données vectorielles, et prend en charge l'accès à divers grands. modèles de langage. Les développeurs peuvent effectuer rapidement un développement secondaire et créer facilement l'assistant Copilot pour leurs propres projets.

Processus de développement transparent et contrôlable

Un processus de développement d'applications convivial doit être contrôlable et transparent pour les développeurs.

Cependant, dans un scénario multi-agents, il existe de nombreux types d'API modèles et différentes interfaces d'appel. Comment gérer et surveiller efficacement le coût d'utilisation des API modèles et éviter le gaspillage de ressources et les dépenses imprévues pose un défi plus important aux capacités de surveillance des ressources.

Par exemple, prendre une page Web complexe comme entrée dans un modèle volumineux lors de l'utilisation d'un moteur de recherche entraînera une surcharge importante et la perception des développeurs est souvent à la traîne. Afin de résoudre ce problème, AgentScope a conçu le module Monitor pour implémenter :

Statistiques automatiques des coûts des API : enregistrez avec précision l'utilisation des jetons des différentes API du modèle et calculez automatiquement le coût actuel pour garantir que les développeurs tiennent compte de chaque dépense du modèle. Coûts de l'API. Ils savent tous tout.

Définition du budget et alarme de dépassement : aidez les développeurs à définir la limite supérieure du budget de chaque API de modèle. Lorsque les dépenses totales dépassent le budget, le système déclenche automatiquement une alarme et informe rapidement le développeur de procéder à des inspections et à des ajustements pour éviter les dépenses excessives.

Prend en charge les indicateurs de surveillance personnalisés : en plus des indicateurs liés à l'API du modèle prédéfini, Monitor permet également aux développeurs de personnaliser d'autres indicateurs de surveillance, tels que la surcharge de l'outil de recherche, la surcharge du service de stockage de données, le trafic réseau, etc., permettant ainsi aux développeurs de pouvoir effectuer une surveillance complète et automatisée de l’état des candidatures.

△Module de surveillance

Ressources de développement prêtes à l'emploi

AgentScope intègre de riches fonctions d'outils, des agents et des exemples d'application, les développeurs peuvent facilement développer grâce à des modifications légères. Votre propre application multi-agent .

Fonctions d'outils : AgentScope prend en charge différents types de fonctions d'outils, notamment la recherche de réseau, la requête de base de données, l'exploitation de fichiers, le traitement de texte, etc. Chaque catégorie contient différents formulaires d'implémentation. Par exemple, au niveau de la recherche réseau, AgentScope prend déjà en charge plusieurs moteurs de recherche tels que Bing, arXiv et DBLP.

Agent : AgentScope a des agents intégrés avec différentes fonctions, notamment le dialogue de base, le dialogue formaté, le raisonnement, le RAG, les agents distribués et d'autres types d'agents différents. Les développeurs n'ont qu'à initialiser l'instance d'agent avec différents paramètres pour spécialiser l'agent dans l'instance d'agent dont ils ont besoin.

Exemples d'application : AgentScope est prédéfini avec de nombreux types d'applications différents, notamment la conversation (Conversation) , le jeu (Jeu) et la distribution (Distribution) . D'une part, ces exemples peuvent aider les développeurs à réduire les coûts de développement et, d'autre part, ils fournissent également des modèles et des références pour le développement d'applications.

Afin de permettre aux développeurs de mieux et plus rapidement comprendre les ressources intégrées dans AgentScope, AgentScope fournit une documentation riche et détaillée, comprenant des tutoriels (Tutoriel) , des documents d'interface (Document API) et des documents de conception, aident les développeurs à mieux comprendre et utiliser AgentScope.

Stable et fiable

Les applications multi-agents basées sur de grands modèles seront confrontées à de nombreux nouveaux défis tels que l'illusion du modèle et la capacité insuffisante à suivre les instructions du modèle. Afin de garantir que les applications multi-agents peuvent fonctionner de manière stable et fiable, AgentScope classe d'abord les erreurs qui se produisent dans l'application, puis fournit un ensemble complet de mécanismes de tolérance aux pannes et un traitement de tolérance aux pannes personnalisé en conséquence.

Tolérance aux pannes orientée vers le hasard : les erreurs aléatoires sont souvent causées par des conditions de réseau instables ou par une incertitude dans le contenu généré par le modèle. Elles constituent le type d'erreurs le plus courant lors de la création d'applications basées sur de grands modèles. De telles erreurs sont souvent très triviales et difficiles à éliminer. Par conséquent, AgentScope utilise le mécanisme de nouvelle tentative intégré pour filtrer et protéger ces erreurs aléatoires, permettant ainsi aux développeurs de consacrer plus facilement leur énergie à l'orchestration des applications.

Tolérance aux pannes basée sur des règles : Certaines erreurs rencontrées dans l'application peuvent être corrigées via des règles. Par exemple, lorsqu'un grand modèle est requis pour générer une réponse dans un format spécifié, le grand modèle génère parfois du contenu supplémentaire, qui peut être tronqué par des règles prédéfinies pour assurer le fonctionnement normal de l'application.

Tolérance aux pannes basée sur le modèle : L'utilisation de la capacité du grand modèle à corriger les erreurs est l'une des caractéristiques des applications multi-agents. AgentScope tentera de fournir des informations d'entrée et d'erreur au grand modèle et d'utiliser la capacité de compréhension et de compréhension. connaissance du grand modèle pour corriger l'erreur.

Tolérance aux pannes pour les agents/développeurs : lorsque les règles prédéfinies et les grands modèles ne peuvent pas résoudre l'erreur, cela nécessite souvent l'intervention de développeurs ou d'agents pour résoudre le problème. Par conséquent, AgentScope ne sera pas en mesure de résoudre le problème lorsqu'il sera rencontré. de telles erreurs. Ensuite, l'attribution du formatage de l'erreur, les informations sur l'erreur, les informations d'entrée et de sortie seront entièrement soumises au développeur ou à l'agent pour aider à résoudre les problèmes rencontrés.

Optimisation des invites

L'amélioration des performances des applications multi-agents dépend en grande partie de la qualité des invites (invites) des grands modèles. Une bonne invite peut considérablement augmenter la probabilité de succès du fonctionnement de l'application. Le cadre de programmation AgentScope fournit un module de réglage rapide pour aider les développeurs à optimiser en permanence les applications.

Génération automatique d'invites : Pour les développeurs, générer une bonne invite est souvent une tâche longue et laborieuse. AgentScope est prédéfini avec un agent qui utilise en interne l'apprentissage en contexte (ICL) pour intégrer les scénarios d'application du développeur et générer directement les invites requises pour aider les développeurs à démarrer rapidement le développement.

Prend en charge la saisie d'échantillons

 : dans AgentScope, les développeurs peuvent saisir plusieurs échantillons en tant que modèles en même temps, et AgentScope peut générer des mots d'invite spécifiques pour des tâches spécifiques en aval en fonction de ces échantillons.

Réglage dynamique des invites

 : pendant le processus d'exécution de l'application, les mots d'invite des grands modèles doivent être ajustés davantage en fonction des conditions de fonctionnement, par exemple en ajoutant de nouvelles règles pour éviter les erreurs. AgentScope automatise ce processus. Au cours du processus d'interaction de l'agent avec le développeur et l'environnement, ses données historiques deviendront la base pour ajuster les invites ; AgentScope modifie l'invite système de l'agent (Invite système) en fonction de la scène à ce moment-là. Améliorer les performances de l'agent pendant le fonctionnement. Parallèle distribué

En tant que framework de programmation multi-agents, AgentScope a pris l'amélioration de l'efficacité de la collaboration entre les agents comme l'un de ses principaux objectifs dès le début de sa conception et a conçu un modèle distribué à cet effet. Dans ce mode, plusieurs agents peuvent s'exécuter dans différents processus et machines, exploitant ainsi pleinement les ressources informatiques et améliorant l'efficacité opérationnelle. La conception distribuée dans AgentScope présente principalement les caractéristiques suivantes :

Optimisation parallèle automatique

 : La conception distribuée dans AgentScope suit le paradigme de programmation Actor, qui peut identifier automatiquement les possibilités parallèles potentielles entre différents agents dans l'orchestration des processus d'application, et automatiquement l'optimisation parallèle pour améliorer l’efficacité opérationnelle. Dans le même temps, chaque agent peut s'exécuter indépendamment sur des machines locales ou distantes, exploitant pleinement les ressources informatiques et prenant en charge un déploiement à grande échelle.

Le seuil de démarrage est extrêmement bas

 : AgentScope protège complètement les développeurs des détails de mise en œuvre de la technologie distribuée. Les développeurs peuvent développer des applications multi-agents distribuées à un coût nul ou convertir des applications multi-agents existantes en modèles distribués. Une fois convertie en applications distribuées, l'orchestration d'applications distribuées dans AgentScope est entièrement compatible avec les méthodes d'orchestration localisées. Même sans connaissances de base distribuées, les développeurs peuvent facilement orchestrer des applications multi-agents distribuées.

Prend en charge le déploiement à grande échelle

 : AgentScope prend actuellement en charge l'exécution de plus de 16 000 instances d'agent à la fois sur une seule machine (A100 à 64 cœurs et 8 cartes) , et l'échelle peut atteindre une échelle linéaire en fonction du nombre de machines. les augmentations augmentent. Par exemple, AgentScope peut effectuer plus de 64 000 appels d’agent en 30 secondes sur un cluster de 4 machines. Cette fonctionnalité rend possible le parallélisme et la simulation d’agents à grande échelle.

△

Conversion du mode local au mode distribué

Prise en charge multimodale

AgentScope aide les développeurs à utiliser des données multimodales et des modèles multimodaux pour créer de puissantes applications multi-agents. Afin de permettre aux développeurs d'interagir avec leurs applications multi-agents programmées de manière plus intuitive et plus pratique, AgentScope fournit une interface interactive conviviale et facile à utiliser, AgentScope Studio, qui permet d'utiliser différentes modalités telles que le texte, le son et les images. Les données sont présentées de manière vivante, garantissant que les développeurs peuvent expérimenter et ajuster les applications intelligentes qu'ils créent de la manière la plus intuitive.

△

AgentScope Studio Ensuite, AgentScope continuera d'apporter plus de commodités de développement aux développeurs, et nous attendons également avec impatience que davantage de développeurs rejoignent la construction de la communauté open source AgentScope pour explorer de plus en plus de choses intéressantes. applications multi-agents.

Adresse de l'entrepôt open source AgentScope :

https://github.com/modelscope/agentscope

Bienvenue pour essayer :

https://agentscope.aliyun.com

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!