OpenDevin hat einen technischen Bericht veröffentlicht, der für große Agent-Entwickler ein Muss ist

Beliebte universelle Agentenplattform für große Modelle.

Im März dieses Jahres brachte „der weltweit erste KI-Softwareentwickler“ Devin den KI-Kreis zur Explosion. Im Gegensatz zu früheren KI-Programmierassistenten unterstützt Devin nicht nur beim Programmieren, sondern kann das gesamte Entwicklungsprojekt selbstständig und End-to-End abschließen.

Die Geburt von Devin ermöglicht es uns, die leistungsstarken Fähigkeiten großer Modelagenten zu schätzen. Bald tauchten in der Branche viele Open-Source-Projekte auf, die versuchten, es zu kopieren. Unter ihnen stach OpenDevin heraus und erhielt die meiste Aufmerksamkeit.

OpenDevin ist eine Plattform für die Entwicklung allgemeiner Agenten, die über Software mit der Welt interagieren. Zu ihren Funktionen gehören:

• Interaktionsmechanismus zwischen großen Modellagenten, Schnittstellen und Umgebungen;

• Agent verfügbare Sandbox-Operationen System + Webbrowser-Umgebung;

• Schnittstelle zum Erstellen und Ausführen von Code;

• Multi-Agent-Unterstützung;

• Aktuell hat OpenDevins GitHub mehr als 29.000 Sterne erhalten.

Kürzlich hat das OpenaDevin-Team einen technischen Bericht zu diesem Tool veröffentlicht.

Berichtsadresse: https://arxiv.org/pdf/2407.16741

Im technischen Bericht stellten die Autoren von OpenDevin, Wissenschaftler der University of Illinois at Urbana-Champaign, der Carnegie Mellon University und anderen Institutionen OpenDevin vor Im Detail handelt es sich um eine von der Community betriebene Plattform, die darauf abzielt, allgemeine und spezialisierte KI-Agenten zu entwickeln, die über Software mit der Welt interagieren.

Noch wichtiger ist, dass OpenDevin nicht nur ein konzeptionelles Framework ist, sondern auch einen umfassenden und gebrauchsfertigen Agenten, eine Umgebung und eine Bewertungsimplementierung umfasst. Zum Zeitpunkt dieses Berichts umfasst OpenDevin ein Agent Center, in dem mehr als 10 Agenten implementiert wurden, darunter ein leistungsstarker Generalagent, der auf der CodeAct-Architektur basiert und zusätzliche Funktionen für das Surfen im Internet und die Codebearbeitung bietet. Die Benutzerinteraktion mit dem Agenten erfolgt über eine Chat-Schnittstelle, die die aktuellen Vorgänge des Agenten visualisiert und Echtzeit-Feedback ermöglicht. Darüber hinaus unterstützt das Bewertungsframework derzeit 15 Benchmarks, die zur Bewertung der Agentenleistung verwendet werden können.

OpenDevin-Architektur

In diesem Artikel beschreibt der Autor OpenDevin unter folgenden Gesichtspunkten: (1) wie man Agenten definiert und implementiert; (2) wie man die Beobachtung fördert; (3) wie man häufig verwendete Agenten verwaltet und erweitert Werkzeuge für Agenten. Fähigkeiten; (4) Wie man mehrere Agenten miteinander kombiniert, um Aufgaben zu lösen.

So definieren und implementieren Sie einen Agenten

Ein Agent kann den Zustand der Umgebung erkennen und Aktionen generieren, die bei der Lösung benutzerspezifischer Aufgaben ausgeführt werden sollen. Status- und Ereignis-Streaming. In OpenDevin ist der Status eine Datenstruktur, die alle relevanten Informationen für einen Agenten zum Ausführen von Aufgaben kapselt. Eine Schlüsselkomponente dieses Zustands ist das Event-Streaming, eine chronologische Sammlung vergangener Aktionen und Beobachtungen.

Action. Inspiriert von CodeAct verbindet OpenDevin Agenten über eine Reihe zentraler Aktionen mit der Umgebung. Die Aktionen IPythonRunCellAction und CmdRunAction ermöglichen es Agenten, beliebigen Python-Code und Bash-Befehle innerhalb einer Sandbox-Umgebung (z. B. einem sicher isolierten Linux-Betriebssystem) auszuführen. BrowserInteractiveAction ermöglicht Agenten die Interaktion mit Webbrowsern.

Beobachten. Beobachtungen beschreiben vom Agenten beobachtete Veränderungen in der Umgebung. Es kann durch eine Aktion des Agenten verursacht werden oder auch nicht: Es kann 1) eine vom Benutzer gegebene Anweisung in natürlicher Sprache sein, 2) das Ausführungsergebnis der vorherigen Aktion des Agenten (z. B. das Ergebnis der Codeausführung usw.).

Neue Agenten implementieren. Das Agentendesign ist einfach und dennoch leistungsstark und ermöglicht Benutzern das einfache Erstellen und Anpassen von Agenten für eine Vielzahl von Aufgaben. Der Kern liegt in der Schrittfunktion, die den aktuellen Zustand als Eingabe nimmt und auf Basis der Logik des Agenten entsprechende Aktionen generiert. Abbildung 2 zeigt vereinfachten Beispielcode für die Agentenabstraktion.

Beobachten Sie die Ergebnisse der Aktionsausführung

Agent Runtime bietet Agenten einen Aktionsraum, der mit dem menschlicher Softwareentwickler vergleichbar ist, und ermöglicht OpenDevin die Bewältigung einer Vielzahl von Softwareentwicklungs- und webbasierten Aufgaben, einschließlich komplexer Softwareentwicklungsarbeitsprozesse , Datenanalyseprojekte, Webbrowsing-Aufgaben und mehr. Es ermöglicht Agenten, auf ein Bash-Terminal zuzugreifen, um Code und Befehlszeilentools auszuführen, Jupyter-Notebooks zu nutzen, um Code im Handumdrehen zu schreiben und auszuführen, und mit einem Webbrowser zu interagieren, um webbasierte Aufgaben auszuführen (z. B. Informationssuchen).

Extensible Agent-Computer Interface

Les auteurs ont construit une bibliothèque AgentSkills, une boîte à outils conçue pour améliorer les capacités des agents, fournissant des utilitaires non facilement disponibles avec les commandes bash de base ou le code python.

Interaction multi-agents

OpenDevin permet à plusieurs agents d'interagir. Pour y parvenir, les auteurs ont utilisé un type d'action spécial, AgentDelegateAction, qui permet à un agent de déléguer des sous-tâches spécifiques à un autre agent.

Évaluation

Cette section compare OpenDevin (abrégé en OD dans les résultats expérimentaux suivants) avec des méthodes de base reproductibles open source. Ces 15 benchmarks couvrent des tâches telles que l'ingénierie logicielle, la navigation Web, etc.

Le tableau 3 montre que même si l'agent OpenDevin n'atteint pas des performances optimales dans chaque catégorie, il est conçu dans un souci de généralité.

Le Tableau 4 rapporte les résultats de l'agent sur des benchmarks d'ingénierie logicielle.

Plus précisément :

SWE-bench est conçu pour évaluer la capacité d'un agent à résoudre les problèmes de GitHub, tels que les rapports de bogues ou les demandes de fonctionnalités. Comme le montre le tableau 4, la dernière version de CodeActAgent v1.8 présentée dans cet article, basée sur Claude-3.5-sonnet, présente un taux de résolution de problèmes allant jusqu'à 26 % par rapport à d'autres agents open source spécifiquement utilisés pour le développement de logiciels.

HumanEvalFix. OpenDevin CodeActAgent a corrigé avec succès 79,3 % des erreurs dans les divisions Python, surpassant considérablement toutes les méthodes non-agent et doublant presque les performances de StarCoder2-15B.

L'agent OpenDevin basé sur GPT-4o a atteint le taux de réussite le plus élevé de 76,47 % sur ML-Bench, ce qui est meilleur que SWE-Agent (42,64 %).

Gorilla APIBench examine la capacité d'un agent à utiliser les API. OpenDevin utilisant GPT-4o atteint un taux de réussite de 36,4 %, surpassant les références qui ne sont pas spécifiquement adaptées aux appels d'API.

ToolQA évalue la capacité d’un agent à utiliser des outils externes. OpenDevin avec GPT-4o affiche les performances les plus élevées par rapport à toutes les références. L'agent a obtenu de meilleurs résultats dans les tâches liées à l'utilisation des outils CSV et de base de données, mais avait besoin d'amélioration dans l'utilisation des outils mathématiques et de calculatrice.

Le tableau 5 rapporte les résultats de l'évaluation sur le benchmark de navigation Web.

Le tableau 6 présente les résultats de divers benchmarks auxiliaires.

Parmi eux, GAIA est utilisé pour évaluer la capacité de l'agent à résoudre des tâches générales. Les résultats montrent que l'agent a obtenu un score de 32,1 sur GAIA, ce qui est significativement amélioré par rapport à l'AutoGPT d'origine.

GPQA est utilisé pour évaluer la capacité d'un agent à coordonner l'utilisation d'outils tout en résolvant des problèmes difficiles de niveau universitaire. Les résultats sont présentés dans les tableaux 6 et 7. OpenDevin intègre des fonctions qui prennent en charge l'utilisation de plusieurs outils et de recherche sur le Web, permettant à l'agent de mieux résoudre des problèmes complexes en plusieurs étapes.

Pour plus de résultats, veuillez vous référer à l'article original.

Das obige ist der detaillierte Inhalt vonOpenDevin hat einen technischen Bericht veröffentlicht, der für große Agent-Entwickler ein Muss ist. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!