Sistem pengendalian ejen AI model besar sumber terbuka: seperti Windos, mengawal ejen AI

Artikel ini dicetak semula dengan kebenaran AIGC Open Community Sila hubungi sumber untuk mencetak semula.

Jika anda ingin mengetahui lebih lanjut tentang AIGC, sila lawati: 51CTO AI Ia mempunyai keupayaan automasi yang berkuasa dan mencipta trek ejen AI baharu. Walau bagaimanapun, masih terdapat banyak masalah yang perlu diselesaikan dalam penjadualan subtugas, peruntukan sumber dan kerjasama antara AI.

Jadi penyelidik di Universiti Rutgers membangunkan AIOS, sistem pengendalian ejen AI dengan model besar pada terasnya. Ia boleh menyelesaikan masalah kadar panggilan sumber yang rendah dengan berkesan apabila bilangan ejen AI meningkat. Ia juga boleh menggalakkan penukaran konteks antara ejen, melaksanakan ejen serentak dan mengekalkan kawalan akses ejen.

Alamat sumber terbuka: https://github.com/agiresearch/AIOS

Alamat kertas: https://arxiv.org/abs/2403.16971

apa yang kami gunakan Sistem pengendalian PC adalah serupa dan terbahagi terutamanya kepada tiga blok utama: lapisan aplikasi, lapisan kernel dan lapisan perkakasan

. Satu-satunya perbezaan ialah AIOS membina pengurus kernel dalam lapisan kernel yang secara khusus menguruskan tugas yang berkaitan dengan model besar.

Lapisan aplikasi ,

terutamanya terdiri daripada aplikasi ejen (contohnya, ejen pelancongan, ejen matematik, ejen kod, dll.); dan model besar, OS Sistem ini digunakan terutamanya untuk pengurusan fail, dan model besar digunakan untuk penjadualan dan pengurusan ejen AI

Lapisan perkakasan terdiri daripada peranti perkakasan seperti CPU, GPU, memori dan peranti, tetapi teras model besar tidak boleh berinteraksi secara langsung dengan perkakasan Sebaliknya, sumber perkakasan diurus secara tidak langsung melalui panggilan yang disediakan oleh lapisan kernel untuk memastikan integriti dan kecekapan sistem.

AI Ejen Penjadual

Penjadual Ejen AI bertanggungjawab terutamanya untuk menjadualkan secara munasabah dan mengoptimumkan permintaan ejen model besar untuk menggunakan sepenuhnya sumber pengkomputeran model besar. Apabila berbilang ejen memulakan permintaan kepada model besar pada masa yang sama, penjadual perlu mengisih permintaan mengikut algoritma penjadualan tertentu untuk mengelakkan ejen tunggal menduduki model besar untuk masa yang lama dan menyebabkan ejen lain menunggu untuk masa yang lama .

Selain itu, reka bentuk AIOS juga menyokong strategi penjadualan yang lebih kompleks, contohnya, mengambil kira kebergantungan antara permintaan proksi untuk mencapai peruntukan sumber yang lebih optimum. Apabila tiada arahan penjadualan, ejen perlu melaksanakan tugas satu persatu mengikut urutan, dan ejen seterusnya perlu menunggu lama

Selepas menggunakan algoritma penjadualan, permintaan setiap ejen boleh disilang dan dilaksanakan secara selari, dengan ketara mengurangkan masa menunggu keseluruhan dan Kelewatan respons

.

Pengurus Konteks

Memandangkan proses penjanaan model besar secara amnya menggunakan carian heuristik seperti Beam Search, pepohon carian akan dibina secara beransur-ansur dan laluan yang berbeza akan dinilai untuk akhirnya memberikan hasil.

Walau bagaimanapun, jika model besar diganggu oleh penjadual semasa proses penjanaan, untuk mengelakkan kehilangan semua keadaan perantaraan dan membazirkan pengiraan sebelumnya, pengurus konteks akan mengambil gambar keadaan pokok Carian Rasuk semasa (termasuk kebarangkalian setiap laluan, dsb.) .

Apabila model besar memperoleh semula sumber pelaksanaan, pengurus konteks boleh memulihkan keadaan Carian Rasuk sebelumnya dengan tepat dari titik gangguan dan terus menjana bahagian yang tinggal, memastikan integriti dan ketepatan hasil akhir.

Selain itu, kebanyakan model besar mempunyai had panjang konteks dan konteks input dalam senario sebenar selalunya melebihi had ini. Untuk menyelesaikan masalah ini, pengurus konteks menyepadukan fungsi seperti ringkasan teks, yang boleh memampatkan atau menyekat konteks panjang, membolehkan model besar memahami dan memproses maklumat konteks panjang dengan cekap.

Pengurus Memori

🎜Pengurus memori bertanggungjawab terutamanya untuk mengurus sumber ingatan jangka pendek dan menyediakan storan sementara yang cekap untuk setiap log interaksi dan data perantaraan ejen AI. 🎜🎜

Apabila ejen AI sedang menunggu untuk pelaksanaan atau berjalan, data yang diperlukannya akan disimpan dalam blok memori yang diperuntukkan oleh pengurus memori. Sebaik sahaja tugas ejen tamat, blok memori yang sepadan juga akan dikitar semula oleh sistem untuk memastikan penggunaan sumber memori yang cekap.

AIOS akan memperuntukkan memori bebas untuk setiap ejen AI dan mencapai pengasingan memori antara ejen yang berbeza melalui pengurus akses. Pada masa hadapan, AIOS akan memperkenalkan mekanisme perkongsian memori yang lebih kompleks dan strategi caching hierarki untuk terus mengoptimumkan prestasi keseluruhan ejen AI.

Jika anda ingin mengetahui lebih lanjut tentang AIGC, sila layari: 51CTO AI.x Community

https://www.51cto.com/aigc/

Atas ialah kandungan terperinci Sistem pengendalian ejen AI model besar sumber terbuka: seperti Windos, mengawal ejen AI. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!