Alibabas intelligente „Montagefabrik“ ist Open Source! 0 Erfahrung, um Zehntausende Agenten gleichzeitig zu betreuen

Machen Sie die Multi-Agent-Entwicklung zu Bausteinen, dem Open-Source-Multi-Agent-Programmier-Framework und der Entwicklungsplattform AgentScope von Alibaba Tongyi Lab.

Diese Plattform wurde speziell für Multi-Agent-Anwendungsentwickler entwickelt. Ziel ist es, ein äußerst benutzerfreundliches Programmiererlebnis sowie eine stabile und zuverlässige Laufzeitgarantie zu bieten und Entwicklern verteilten und multimodalen technischen Support zu bieten.

Es verfügt über integrierte Modell-APIs für verschiedene Plattformen wie OpenAI, DashScope, Gemini, Ollama usw. und ist weitgehend kompatibel mit dem aktuellen Open-Source-Ökosystem für große Modelle.

AgentScope bietet eine Vielzahl sofort einsatzbereiter Funktionen und Sie können Multi-Agent-Anwendungen durch einfaches Ziehen und Ablegen erstellen.

Selbst Entwickler ohne Erfahrung in der verteilten Entwicklung können auf der AgentScope-Plattform problemlos Zehntausende Ebenen der Multi-Agent-Parallelität erreichen.

Um mehr Benutzern die schnelle und einfache Entwicklung eigener Multi-Agent-Anwendungen zu ermöglichen. AgentScope bietet die folgenden Funktionen:

• Drag-and-Drop-Programmierparadigma – AgentScope Workstation: Bietet Benutzern eine visuelle Drag-and-Drop-Entwicklungsoberfläche
• Interaktiver Programmierassistent – ​​AgentScope Copilot : Beantworten Sie Entwicklerfragen zu AgentScope
• Transparenter und kontrollierbarer Entwicklungsprozess – Echtzeit-Anwendungsüberwachung: Echtzeitüberwachung der Anwendungsbetriebskosten und des Multi-Agent-Status, um eine transparente und kontrollierbare Entwicklung zu erreichen
• Reichhaltige Entwicklungsressourcen: Ermöglichen Sie eine schnelle und bequeme Sekundärentwicklung und erstellen Sie Anwendungen, ohne „von vorne anfangen“ zu müssen.

AgentScope Workstation

AgentScope Workstation bietet eine praktische „Drag-and-Drop“-App für Multi-Agent-Orchestrierungsparadigmen .

Hier ist Programmiererfahrung kein Faktor mehr, der Ihre Fantasie einschränkt. Jeder Entwickler kann seine bevorzugten großen Modelle, Agenten und Pipelines ohne Programmierung in der umfangreichen Symbolleiste auswählen und ziehen und sie wie Bausteine ​​frei kombinieren, um einzigartige und innovative Multi-Agent-Anwendungen zu erstellen.

Um sicherzustellen, dass diese per Drag & Drop erstellten Multi-Agent-Anwendungen wirklich nutzbar sind, führt AgentScope Workstation eine statische Regelprüfung ein, um die Korrektheit der Anwendung sicherzustellen. Dies stellt eine korrekte Charakterisierung der Anwendung sicher.

Für fortgeschrittene Entwickler, die weitere Anpassungen und tiefgreifende Entwicklungen wünschen, bietet AgentScope Workstation ebenfalls starke Unterstützung.

Entwickler können die Anwendung entweder als Konfigurationsinformationen exportieren und mithilfe der AgentScope Workstation-Engine ausführen oder den AgentScope Workstation Compiler verwenden, um die Konfigurationsinformationen mit einem Klick in Python-Code umzuwandeln. Auf diese Weise können Entwickler den Code weiter bearbeiten und optimieren, um detailliertere und personalisiertere Anwendungsanpassungen zu erreichen.

AgentScope Copilot

AgentScope Copilot ist ein Entwicklungsassistent, der auf dem AgentScope-Framework selbst basiert. Er soll Entwicklern bei der Lösung der Probleme helfen, die im Entwicklungsprozess von Multi-Agent-Anwendungen auftreten Gruppenchat mit mehreren Agenten (Konversation mit mehreren Agenten) , Generierung des Datenabrufs (Retrieval-Augmented Generation, RAG) , Agentenanruf (Erwähnung) und viele andere Funktionen.

Bei der Interaktion mit AgentScope Copilot können Entwickler mit dem Guiding Assistant (Guide Assistant) interagieren, um direkt Hilfe zu erhalten. Sie können auch spezielle Agentenassistenten wie den Q&A Assistant (Tutoring Assistant) oder den Code Coding Assistant anrufen; Coding Assistant), um professionellere und spezifischere Antworten zu erhalten. Genauer gesagt kann der Code-Programmierassistent Entwicklern dabei helfen, die Definition und Verwendung jedes Moduls im Framework schnell zu klären und bessere Programmiervorschläge zu liefern.

Es ist erwähnenswert, dass AgentScope Copilot selbst auf dem RAG-Modul im AgentScope-Framework basiert. Es unterstützt gängige Datenabruf-Frameworks wie LlamaIndex sowie mehrere Vektordatenbanktypen und unterstützt den Zugriff auf verschiedene große Sprachmodelle. Entwickler können schnell Sekundärentwicklungen durchführen und den Copilot-Assistenten einfach für ihre eigenen Projekte erstellen.

Transparenter und kontrollierbarer Entwicklungsprozess

Ein benutzerfreundlicher Anwendungsentwicklungsprozess sollte für Entwickler kontrollierbar und transparent sein.

In einem Szenario mit mehreren Agenten gibt es jedoch viele Arten von Modell-APIs und verschiedene Aufrufschnittstellen. Die effektive Verwaltung und Überwachung der Nutzungskosten von Modell-APIs sowie die Vermeidung von Ressourcenverschwendung und unerwarteten Kosten stellen eine größere Herausforderung für die Ressourcenüberwachungsfunktionen dar.

Wenn Sie beispielsweise eine komplexe Webseite als Eingabe für ein großes Modell verwenden, wenn Sie eine Suchmaschine verwenden, verursacht dies einen hohen Overhead und die Wahrnehmung der Entwickler hinkt oft hinterher. Um dieses Problem zu lösen, hat AgentScope das Monitor-Modul entwickelt, um Folgendes zu implementieren:

Automatische API-Kostenstatistik: Erfassen Sie die Token-Nutzung verschiedener Modell-APIs genau und berechnen Sie automatisch die aktuellen Kosten, um sicherzustellen, dass Entwickler alle Ausgaben des Modells berücksichtigen API-Kosten Sie alle wissen alles.

Budgeteinstellung und Überschreitungsalarm: Unterstützen Sie Entwickler beim Festlegen der Budgetobergrenze für jede Modell-API. Wenn die Gesamtausgaben das Budget überschreiten, löst das System automatisch einen Alarm aus und fordert den Entwickler umgehend auf, Inspektionen und Anpassungen vorzunehmen, um Mehrausgaben zu vermeiden.

Unterstützt benutzerdefinierte Überwachungsindikatoren: Zusätzlich zu den voreingestellten Modell-API-bezogenen Indikatoren ermöglicht Monitor Entwicklern auch die Anpassung anderer Überwachungsindikatoren, wie z. B. Suchtool-Overhead, Datenspeicherdienst-Overhead, Netzwerkverkehr usw., sodass Entwickler dies können Führen Sie eine umfassende und automatisierte Überwachung des Bewerbungsstatus durch.

△Monitor-Modul

Gebrauchsfertige Entwicklungsressourcen

AgentScope verfügt über integrierte umfangreiche Toolfunktionen, Agenten und Anwendungsbeispiele. Entwickler können durch einfache Modifikationen ganz einfach Ihre eigene Multi-Agent-Anwendung entwickeln .

Toolfunktionen: AgentScope unterstützt verschiedene Arten von Toolfunktionen, einschließlich Netzwerksuche, Datenbankabfrage, Dateioperation, Textverarbeitung usw. Jede Kategorie enthält unterschiedliche Implementierungsformen. Auf der Ebene der Netzwerksuche unterstützt AgentScope beispielsweise bereits mehrere Suchmaschinen wie Bing, arXiv und DBLP.

Agent: AgentScope verfügt über integrierte Agenten mit verschiedenen Funktionen, darunter Basisdialog, formatierter Dialog, Argumentation, RAG, verteilte und andere verschiedene Arten von Agenten. Entwickler müssen die Agenteninstanz lediglich mit verschiedenen Parametern initialisieren, um den Agenten auf die von ihnen benötigte Agenteninstanz zu spezialisieren.

Anwendungsbeispiele: AgentScope ist mit vielen verschiedenen Arten von Anwendungen voreingestellt, darunter Konversation (Konversation) , Spiel (Spiel) und Verteilung (Verteilung) . Einerseits können diese Beispiele Entwicklern dabei helfen, Entwicklungskosten zu senken, andererseits stellen sie auch Vorlagen und Referenzen für die Anwendungsentwicklung bereit.

Damit Entwickler die in AgentScope integrierten Ressourcen besser und schneller verstehen können, bietet AgentScope eine umfangreiche und detaillierte Dokumentation, einschließlich Tutorials (Tutorial) , Schnittstellendokumenten (API-Dokument) und Designpapieren, um Entwicklern besser zu helfen AgentScope verstehen und verwenden.

Stabil und zuverlässig

Multi-Agent-Anwendungen, die auf großen Modellen basieren, stehen vor vielen neuen Herausforderungen wie Modellillusion und unzureichender Fähigkeit, Modellanweisungen zu befolgen. Um sicherzustellen, dass Multi-Agent-Anwendungen stabil und zuverlässig laufen können, klassifiziert AgentScope zunächst Fehler, die in der Anwendung auftreten, und stellt dann einen vollständigen Satz von Fehlertoleranzmechanismen und eine entsprechend angepasste Fehlertoleranzverarbeitung bereit.

Zufallsorientierte Fehlertoleranz: Zufällige Fehler werden häufig durch instabile Netzwerkbedingungen oder Unsicherheiten im vom Modell generierten Inhalt verursacht. Sie sind die häufigste Fehlerart beim Erstellen von Anwendungen, die auf großen Modellen basieren. Solche Fehler sind oft sehr trivial und schwer auszuschließen. Daher nutzt AgentScope den integrierten Wiederholungsmechanismus, um solche zufälligen Fehler zu filtern und abzuschirmen, wodurch es für Entwickler einfacher wird, ihre Energie der Anwendungsorchestrierung zu widmen.

Regelbasierte Fehlertoleranz: Einige in der Anwendung aufgetretene Fehler können durch Regeln behoben werden. Wenn beispielsweise ein großes Modell eine Antwort in einem bestimmten Format generieren muss, generiert das große Modell manchmal zusätzlichen Inhalt, der durch voreingestellte Regeln gekürzt werden kann, um den normalen Betrieb der Anwendung sicherzustellen.

Modellbasierte Fehlertoleranz: Die Nutzung der eigenen Fähigkeiten des großen Modells zur Fehlerkorrektur ist eine der Eigenschaften von Multi-Agent-Anwendungen. AgentScope versucht, Eingabe- und Fehlerinformationen für das große Modell bereitzustellen und die Verständnisfähigkeit des großen Modells zu nutzen und Wissen, um Fehler zu korrigieren.

Fehlertoleranz für Agenten/Entwickler: Wenn voreingestellte Regeln und große Modelle den Fehler nicht lösen können, ist häufig das Eingreifen von Entwicklern oder Agenten erforderlich. Daher stößt AgentScope auf solche Fehler, die auf die Fehlerformatierung zurückzuführen sind. Fehlerinformationen sowie Eingabe- und Ausgabeinformationen werden vollständig an den Entwickler oder Agenten übermittelt, um bei der Lösung der aufgetretenen Probleme zu helfen.

Prompt-Optimierung

Die Verbesserung der Leistung von Multi-Agent-Anwendungen hängt weitgehend von der Qualität der Eingabeaufforderungen (Eingabeaufforderungen) großer Modelle ab. Eine gute Eingabeaufforderung kann die Wahrscheinlichkeit eines erfolgreichen Anwendungsbetriebs erheblich erhöhen. Das AgentScope-Programmierframework bietet ein Prompt-Tuning-Modul, um Entwickler bei der kontinuierlichen Optimierung von Anwendungen zu unterstützen.

Automatische Eingabeaufforderungen: Für Entwickler ist die Erstellung einer guten Eingabeaufforderung oft eine zeitaufwändige und arbeitsintensive Aufgabe. AgentScope ist mit einem Agenten voreingestellt, der intern In-Context-Learning (ICL) nutzt, um die Anwendungsszenarien des Entwicklers zu integrieren und direkt die erforderlichen Eingabeaufforderungen zu generieren, um Entwicklern einen schnellen Start der Entwicklung zu ermöglichen.

Unterstützt die Beispieleingabe

: In AgentScope können Entwickler mehrere Beispiele gleichzeitig als Vorlagen eingeben, und AgentScope kann auf der Grundlage dieser Beispiele spezifische Eingabeaufforderungswörter für bestimmte nachgelagerte Aufgaben generieren.

Dynamische Eingabeaufforderungsoptimierung

: Während des Anwendungslaufs müssen die Eingabeaufforderungswörter großer Modelle entsprechend den Betriebsbedingungen weiter angepasst werden, z. B. durch das Hinzufügen neuer Regeln, um Fehler zu vermeiden. AgentScope automatisiert diesen Prozess, während der Agent mit dem Entwickler und der Umgebung interagiert. Seine historischen Daten werden zur Grundlage für die Anpassung der Eingabeaufforderungen. AgentScope ändert die Systemeingabeaufforderung des Agenten (Systemeingabeaufforderung) entsprechend der jeweiligen Szene. Verbessern Sie die Leistung des Agenten während des Betriebs. Verteilte Parallelität

Als Multiagenten-Programmierframework hat sich AgentScope von Anfang an die Verbesserung der Zusammenarbeitseffizienz zwischen Agenten als eines seiner Hauptziele angesehen und zu diesem Zweck ein verteiltes Modell entworfen. In diesem Modus können mehrere Agenten in verschiedenen Prozessen und Maschinen ausgeführt werden, wodurch die Rechenressourcen voll ausgenutzt werden und die Betriebseffizienz verbessert wird. Das verteilte Design in AgentScope weist hauptsächlich die folgenden Merkmale auf:

Automatische parallele Optimierung

: Das verteilte Design in AgentScope folgt dem Actor-Programmierparadigma, das potenzielle parallele Möglichkeiten zwischen verschiedenen Agenten bei der Orchestrierung von Anwendungsprozessen automatisch identifizieren und automatisch parallel optimieren kann Verbesserung der Betriebseffizienz. Gleichzeitig kann jeder Agent unabhängig auf lokalen oder Remote-Computern ausgeführt werden, wodurch die Rechenressourcen voll ausgenutzt werden und eine groß angelegte Bereitstellung unterstützt wird.

Die Schwelle für den Einstieg ist extrem niedrig

: AgentScope schirmt Entwickler vollständig von den Implementierungsdetails verteilter Technologie ab. Entwickler können verteilte Multi-Agent-Anwendungen zum Nulltarif entwickeln oder bestehende Multi-Agent-Anwendungen in verteilte Modelle umwandeln. Bei der Konvertierung in verteilte Anwendungen ist die verteilte Anwendungsorchestrierung in AgentScope vollständig kompatibel mit lokalisierten Orchestrierungsmethoden. Auch ohne verteilte Hintergrundkenntnisse können Entwickler problemlos verteilte Multiagentenanwendungen orchestrieren.

Unterstützt groß angelegte Bereitstellung

: AgentScope unterstützt derzeit die gleichzeitige Ausführung von mehr als 16.000 Agenteninstanzen auf einer einzelnen Maschine (64-Kern-8-Karten-A100) , und die Skalierung kann eine lineare Skalierung mit der Anzahl der Maschinen erreichen erhöht sich. AgentScope kann beispielsweise mehr als 64.000 Agentenanrufe in 30 Sekunden auf einem Cluster von 4 Computern abwickeln. Diese Funktion ermöglicht eine groß angelegte Parallelität und Simulation von Agenten.

△

Konvertierung vom lokalen Modus in den verteilten Modus

Multimodale Unterstützung

AgentScope unterstützt Entwickler bei der Verwendung multimodaler Daten und multimodaler Modelle zum Erstellen leistungsstarker Multi-Agent-Anwendungen. Um Entwicklern eine intuitivere und bequemere Interaktion mit ihren programmierten Multi-Agent-Anwendungen zu ermöglichen, bietet AgentScope eine entwicklerfreundliche, benutzerfreundliche interaktive Schnittstelle AgentScope Studio, die die Verarbeitung verschiedener Modalitäten wie Text, Ton und Bilder ermöglicht Die verwendeten Daten werden anschaulich dargestellt, sodass Entwickler die von ihnen erstellten intelligenten Anwendungen auf die intuitivste Weise erleben und anpassen können.

△

AgentScope Studio Als nächstes wird AgentScope Entwicklern weiterhin mehr Entwicklungskomfort bieten, und wir freuen uns auch darauf, dass sich weitere Entwickler am Aufbau der AgentScope-Open-Source-Community beteiligen, um immer mehr Interessantes zu erkunden Multi-Agent-Anwendungen.

Adresse des Open-Source-Lagers von AgentScope:

https://github.com/modelscope/agentscope

Willkommen zum Ausprobieren:

https://agentscope.aliyun.com

Das obige ist der detaillierte Inhalt vonAlibabas intelligente „Montagefabrik“ ist Open Source! 0 Erfahrung, um Zehntausende Agenten gleichzeitig zu betreuen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!