OpenDevin出技術報告了，大模型Agent開發者必讀

熱門一般大模型 Agent 平台。

今年 3 月，「全球首位 AI 軟體工程師」Devin 引爆了 AI 圈。與先前 AI 程式設計助理不同的是，Devin 並非只是輔助程式設計的角色，而是能夠獨立地、端到端地完成整個開發專案。

Devin 的出世讓我們領略了大模型 Agent 的強大能力。很快，業界就出現了眾多嘗試復刻它的開源項目，其中 OpenDevin 脫穎而出，受到了人們最多的關注。

OpenDevin 是一個開發透過軟體與世界互動的通用智能體的平台，其特點包括： 

• 大模型Agent、介面和環境之間互動的交互機制；

• Agent 可用的沙盒作業系統+ Web 瀏覽器環境；

• 可建立和執行程式碼的介面；

• 可建立和執行程式碼的介面；

• 多Agent 支援；

評估架構。

目前，OpenDevin 的 GitHub 已經獲得了超過 2.9 萬 Star 量。

近日，OpenaDevin 團隊發布了該工具的技術報告。

報告網址：https://arxiv.org/pdf/2407.16741

在技術報告中，OpenDevin 的作者，來自伊利諾大學香檳分校、卡內基美隆大學等機構的學者們詳細介紹了OpenDevin，這是一個社群驅動的平台，旨在開發透過軟體與世界互動的通用和專業AI Agent。

更重要的是，OpenDevin 不僅是一個概念框架，它還包括一個全面且可立即使用的 Agent、環境和評估實作。截至本報告發佈時，OpenDevin 包含一個 Agent 中心，其中已實現 10 多個智能體，包括一個基於 CodeAct 架構實現的強大的通用智能體，並增加了用於 Web 瀏覽和程式碼編輯功能。使用者與智慧體的互動是透過聊天介面實現的，該介面可視化智慧體當前操作並允許即時回饋。此外，評估框架目前支援 15 個基準，可使用它們來評估智能體效能。

OpenDevin 架構

本文中，作者從以下幾個方面描述OpenDevin：（1）如何定義和實現智能體；（2）動作執行如何促進觀察；（3）如何管理和擴展智能體常用的技能；（4）如何將多個智能體組合在一起以解決任務。

如何定義和實現智能體

智能體可以感知環境狀態，並在解決用戶指定的任務時生成要執行的操作。

狀態和事件流。在 OpenDevin 中，狀態是一種資料結構，它封裝了智能體執行任務的所有相關資訊。此狀態的關鍵組成部分是事件流，是按照時間順序收集過去的動作和觀察。

動作。受 CodeAct 的啟發，OpenDevin 透過一組核心的動作將智能體與環境連接起來。動作 IPythonRunCellAction 和 CmdRunAction 使智能體能夠在沙盒環境（例如，安全隔離的 Linux 作業系統）內執行任意 Python 程式碼和 bash 命令。而 BrowserInteractiveAction 支援智能體與 Web 瀏覽器互動。

觀察。觀察描述了智能體觀察到的環境變化。它可能由智能體的動作引起，也可能不是：它可以是 1) 使用者提出的自然語言指令，2) 智能體先前動作的執行結果（例如，程式碼執行結果等）。

實現新的智能體。智能體設計簡單但功能強大，從而允許用戶輕鬆創建和自訂用於各種任務的智能體。核心在於 step 函數，它將當前狀態作為輸入並根據智能體的邏輯產生適當的動作。圖 2 顯示了智能體抽象的簡化範例程式碼。

觀察動作執行結果

Agent Runtime 為智能體提供了與人類軟體開發人員相當的動作空間，使OpenDevin能夠處理各種軟體開發和基於Web 的任務，包括複雜的軟體開發工作流程、資料分析專案、Web 瀏覽任務等。它允許智能體存取 bash 終端機來運行程式碼和命令列工具，利用 Jupyter notebook 即時編寫和執行程式碼，並與 Web 瀏覽器互動以執行基於 Web 的任務（例如，資訊搜尋）。

可擴充的智能體- 電腦介面

作者建構了一個AgentSkills 函式庫，這是一個旨在增強智能體功能的工具箱，能夠提供基本bash 指令或python程式碼無法輕鬆取得的實用程式。

多智能體互動

OpenDevin 允許多個智能體進行互動。為了實現這一目標，作者使用了一種特殊的動作類型 AgentDelegateAction，它允許智能體將特定的子任務委託給另一個智能體。

評估

本節將 OpenDevin （以下實驗結果中簡寫為 OD）與開源可複現的基線方法進行了比較。這 15 個基準涵蓋軟體工程、網頁瀏覽等任務。

表 3 表明，雖然 OpenDevin 智能體可能無法在每個類別中都達到最佳性能，但其設計考慮了通用性。

表 4 報告了智能體在軟體工程基準上的結果。

具體而言：

SWE-bench 旨在評估智能體解決 GitHub 問題的能力，如 bug 報告或功能請求。如表 4 所示，本文最新版本的 CodeActAgent v1.8 ，基於 claude-3.5-sonnet，與其他專門用於軟體開發的開源智能體相比，解決問題率高達 26%。

HumanEvalFix。 OpenDevin CodeActAgent 成功修復了 Python 分割中 79.3% 的錯誤，明顯優於所有非智能體方法，幾乎是 StarCoder2-15B 效能的兩倍。

基於 GPT-4o 的 OpenDevin 智能體在 ML-Bench 上實現了 76.47% 的最高成功率，優於 SWE-Agent（42.64%）。

Gorilla APIBench 檢視智能體使用 API 的能力。使用 GPT-4o 的 OpenDevin 的成功率為 36.4%，優於未針對 API 呼叫進行專門微調的基線。

ToolQA 評估智能體使用外在工具的能力。與所有基線相比，採用 GPT-4o 的 OpenDevin 表現出最高的效能。智能體在與 CSV 和資料庫工具使用相關的任務上表現較好，但在數學和計算器工具使用上需要改進。

表 5 報告了網頁瀏覽基準的評估結果。

表 6 報告了各種輔助基準的結果。

其中，GAIA 用於評估智能體解決一般任務的能力，結果顯示，智能體在GAIA 上取得了32.1 分，比原來的AutoGPT 有了明顯的提高。

GPQA 用於評估智能體在解決具有挑戰性的研究生程度問題時協調使用工具的能力。結果如表 6、7 所示，OpenDevin 整合了支援多種工具使用以及 web 搜尋的功能，使得智慧體能夠更好地解決複雜的多步驟問題。

了解更多結果，請參考原論文。

以上是OpenDevin出技術報告了，大模型Agent開發者必讀的詳細內容。更多資訊請關注PHP中文網其他相關文章！