OpenDevin telah mengeluarkan laporan teknikal, yang mesti dibaca untuk pembangun Ejen model besar

Platform ejen model besar universal yang popular.

Pada Mac tahun ini, "jurutera perisian AI pertama di dunia" Devin meletupkan bulatan AI. Tidak seperti pembantu pengaturcaraan AI sebelumnya, Devin bukan sahaja memainkan peranan membantu pengaturcaraan, tetapi boleh menyelesaikan keseluruhan projek pembangunan secara bebas dan hujung ke hujung.

Kelahiran Devin membolehkan kami menghargai keupayaan hebat Ejen model besar. Tidak lama kemudian, banyak projek sumber terbuka muncul dalam industri yang cuba menyalinnya Antaranya, OpenDevin menonjol dan paling mendapat perhatian.

OpenDevin ialah platform untuk membangunkan ejen tujuan umum yang berinteraksi dengan dunia melalui perisian Persekitaran pelayar web;

• Antara muka untuk mencipta dan melaksanakan kod;

• Sokongan berbilang Ejen;

• Pada masa ini, GitHub OpenDevin telah menerima lebih daripada 29,000 bintang.

• Baru-baru ini, pasukan OpenaDevin mengeluarkan laporan teknikal tentang alat ini.
Alamat laporan: https://arxiv.org/pdf/2407.16741

Dalam laporan teknikal, pengarang OpenDevin, sarjana dari University of Illinois di Urbana-Champaign, Carnegie Mellon University dan institusi lain memperkenalkan OpenDevin secara terperinci, Ia adalah platform yang dipacu komuniti yang bertujuan untuk membangunkan ejen AI am dan khusus yang berinteraksi dengan dunia melalui perisian.

Lebih penting lagi, OpenDevin bukan sahaja rangka kerja konsep, ia juga termasuk Ejen yang komprehensif dan sedia untuk digunakan, persekitaran dan pelaksanaan penilaian. Pada masa laporan ini, OpenDevin termasuk Pusat Ejen di mana lebih daripada 10 ejen telah dilaksanakan, termasuk ejen am yang berkuasa dilaksanakan berdasarkan seni bina CodeAct, dengan fungsi tambahan untuk penyemakan imbas web dan penyuntingan kod. Interaksi pengguna dengan ejen dicapai melalui antara muka sembang, yang menggambarkan operasi semasa ejen dan membenarkan maklum balas masa nyata. Selain itu, rangka kerja penilaian pada masa ini menyokong 15 penanda aras yang boleh digunakan untuk menilai prestasi ejen.

OpenDevin Architecture

Dalam artikel ini, penulis menerangkan OpenDevin dari aspek berikut: (1) bagaimana untuk mentakrif dan melaksanakan ejen; (2) bagaimana pelaksanaan tindakan menggalakkan pemerhatian; alat untuk ejen Kemahiran; (4) Bagaimana untuk menggabungkan beberapa ejen bersama-sama untuk menyelesaikan tugas.

Cara mentakrif dan melaksanakan ejen

Seorang ejen boleh merasakan keadaan persekitaran dan menjana tindakan yang perlu dilakukan semasa menyelesaikan tugas yang ditentukan pengguna.

Status dan penstriman acara. Dalam OpenDevin, keadaan ialah struktur data yang merangkum semua maklumat yang berkaitan untuk ejen melaksanakan tugas. Komponen utama keadaan ini ialah penstriman peristiwa, koleksi kronologi tindakan dan pemerhatian masa lalu.

Aksi. Diilhamkan oleh CodeAct, OpenDevin menghubungkan ejen kepada persekitaran melalui set tindakan teras. Tindakan IPythonRunCellAction dan CmdRunAction membolehkan ejen melaksanakan kod Python dan arahan bash sewenang-wenangnya dalam persekitaran kotak pasir (contohnya, sistem pengendalian Linux yang terpencil dengan selamat). BrowserInteractiveAction membolehkan ejen berinteraksi dengan pelayar web.

Perhatikan. Pemerhatian menerangkan perubahan dalam persekitaran yang diperhatikan oleh agen. Ia mungkin atau mungkin tidak disebabkan oleh tindakan ejen: ia mungkin 1) arahan bahasa semula jadi yang diberikan oleh pengguna, 2) hasil pelaksanaan tindakan ejen sebelumnya (cth., hasil pelaksanaan kod, dll.).

Melaksanakan ejen baru. Reka bentuk ejen adalah ringkas tetapi berkuasa, membolehkan pengguna membuat dan menyesuaikan ejen dengan mudah untuk pelbagai tugas. Teras terletak pada fungsi langkah, yang mengambil keadaan semasa sebagai input dan menjana tindakan yang sesuai berdasarkan logik ejen. Rajah 2 menunjukkan kod contoh mudah untuk abstraksi ejen.

Perhatikan keputusan pelaksanaan tindakan

Agent Runtime menyediakan ejen dengan ruang tindakan yang setanding dengan pembangun perisian manusia, membolehkan OpenDevin mengendalikan pelbagai pembangunan perisian dan tugas berasaskan web, termasuk Proses kerja pembangunan perisian yang kompleks , projek analisis data, tugas menyemak imbas web dan banyak lagi. Ia membolehkan ejen mengakses terminal bash untuk menjalankan kod dan alatan baris arahan, memanfaatkan buku nota Jupyter untuk menulis dan melaksanakan kod dengan cepat, dan berinteraksi dengan penyemak imbas web untuk melaksanakan tugas berasaskan web (cth., carian maklumat).

Antaramuka Ejen-Komputer Boleh Diperluaskan

Pengarang telah membina perpustakaan AgentSkills, kotak alat yang direka untuk meningkatkan keupayaan ejen, menyediakan utiliti yang tidak tersedia dengan perintah bash asas atau kod python.

Interaksi berbilang ejen

OpenDevin membenarkan berbilang ejen berinteraksi. Untuk mencapai matlamat ini, pengarang menggunakan jenis tindakan khas, AgentDelegateAction, yang membenarkan ejen mewakilkan subtugas tertentu kepada ejen lain.

Evaluation

Bahagian ini membandingkan OpenDevin (disingkatkan sebagai OD dalam keputusan percubaan berikut) dengan kaedah garis dasar boleh ulang sumber terbuka. 15 penanda aras ini merangkumi tugas seperti kejuruteraan perisian, penyemakan imbas web dan banyak lagi.

Jadual 3 menunjukkan bahawa walaupun ejen OpenDevin mungkin tidak mencapai prestasi optimum dalam setiap kategori, ia direka bentuk dengan mengambil kira umum.

Jadual 4 melaporkan keputusan ejen mengenai tanda aras kejuruteraan perisian.

Khususnya:

SWE-bench direka untuk menilai keupayaan ejen untuk menyelesaikan isu GitHub, seperti laporan pepijat atau permintaan ciri. Seperti yang ditunjukkan dalam Jadual 4, versi terkini CodeActAgent v1.8 dalam artikel ini, berdasarkan claude-3.5-sonnet, mempunyai kadar penyelesaian masalah sehingga 26% berbanding dengan ejen sumber terbuka lain yang khusus digunakan untuk pembangunan perisian.

HumanEvalFix. OpenDevin CodeActAgent berjaya membetulkan 79.3% ralat dalam pemisahan Python, dengan ketara mengatasi semua kaedah bukan ejen dan hampir menggandakan prestasi StarCoder2-15B.

Ejen OpenDevin berdasarkan GPT-4o mencapai kadar kejayaan tertinggi sebanyak 76.47% pada ML-Bench, yang lebih baik daripada SWE-Agent (42.64%).

Gorilla APIBench mengkaji keupayaan ejen untuk menggunakan API. OpenDevin menggunakan GPT-4o mencapai kadar kejayaan 36.4%, mengatasi garis dasar yang tidak diperhalusi secara khusus untuk panggilan API.

ToolQA menilai keupayaan ejen untuk menggunakan alat luaran. OpenDevin dengan GPT-4o menunjukkan prestasi tertinggi berbanding semua garis dasar. Ejen melakukan lebih baik pada tugas yang berkaitan dengan CSV dan penggunaan alat pangkalan data, tetapi memerlukan peningkatan dalam penggunaan alat matematik dan kalkulator.

Jadual 5 melaporkan keputusan penilaian pada penanda aras penyemakan imbas web.

Jadual 6 melaporkan keputusan pelbagai penanda aras tambahan.

Antaranya, GAIA digunakan untuk menilai keupayaan ejen untuk menyelesaikan tugas-tugas am Keputusan menunjukkan bahawa ejen mencapai markah 32.1 pada GAIA, yang meningkat dengan ketara berbanding AutoGPT asal.

GPQA digunakan untuk menilai keupayaan ejen untuk menyelaraskan penggunaan alatan semasa menyelesaikan masalah peringkat siswazah yang mencabar. Hasilnya ditunjukkan dalam Jadual 6 dan 7. OpenDevin menyepadukan fungsi yang menyokong penggunaan berbilang alatan dan carian web, membolehkan ejen menyelesaikan masalah berbilang langkah yang kompleks dengan lebih baik.

Untuk keputusan lanjut, sila rujuk kertas asal.

Atas ialah kandungan terperinci OpenDevin telah mengeluarkan laporan teknikal, yang mesti dibaca untuk pembangun Ejen model besar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!