


Selaras dengan evolusi berterusan dan inovasi kendiri model bahasa yang besar, prestasi, ketepatan dan kestabilan telah dipertingkatkan dengan banyak, yang telah disahkan oleh pelbagai set masalah penanda aras.
Namun, untuk versi LLM sedia ada, keupayaan komprehensif mereka nampaknya tidak dapat menyokong sepenuhnya ejen AI.
Inferens berbilang modal, berbilang tugas dan berbilang domain telah menjadi keperluan yang diperlukan untuk ejen AI dalam ruang media awam, tetapi kesan sebenar yang dipaparkan dalam amalan fungsi tertentu sangat berbeza. Ini nampaknya sekali lagi mengingatkan semua pemula robot AI dan gergasi teknologi besar untuk mengenali realiti: menjadi lebih sederhana, jangan menyebarkan gerai terlalu besar, dan mulakan dengan fungsi peningkatan AI.
Baru-baru ini, sebuah blog tentang jurang antara publisiti dan prestasi sebenar ejen AI menekankan satu perkara: "Ejen AI adalah gergasi dalam publisiti, tetapi realitinya sangat buruk Ayat ini menyatakan pandangan ramai orang dengan tepat." teknologi AI. Dengan kemajuan sains dan teknologi yang berterusan, AI telah dikurniakan banyak ciri dan kebolehan yang menarik perhatian Walau bagaimanapun, beberapa masalah sering berlaku dalam aplikasi praktikal dan
Latar belakang ejen AI autonomi dapat melaksanakan tugas yang kompleks telah menyebabkan. kebimbangan besar teruja. Dengan berinteraksi dengan alatan dan ciri luaran, LLM boleh melengkapkan aliran kerja berbilang langkah tanpa campur tangan manusia.
Tetapi ternyata lebih mencabar dari jangkaan.
Papan pendahulu WebArena ialah persekitaran rangkaian yang sebenar dan boleh dihasilkan semula untuk menilai prestasi ejen praktikal. Menanda aras prestasi ejen LLM pada tugas dunia sebenar menunjukkan bahawa model berprestasi terbaik pun mempunyai kadar kejayaan hanya 35.8%.
WebArena menilai keputusan penanda aras prestasi ejen LLM dalam tugasan sebenar: model StepP menunjukkan prestasi terbaik dalam penunjuk kadar kejayaan, mencapai 35.8%, manakala kejayaan GPT-4 yang terkenal Kadarnya mencapai hanya 14.9%.
Apakah itu ejen AI?
Istilah "ejen AI" tidak ditakrifkan sebenarnya, dan terdapat banyak kontroversi tentang apa sebenarnya ejen.
Ejen AI boleh ditakrifkan sebagai "LLM yang diberi kebolehan untuk bertindak (biasanya membuat panggilan fungsi dalam persekitaran RAG) untuk membuat keputusan peringkat tinggi tentang cara melaksanakan tugas dalam persekitaran
Pada masa ini, terdapat dua kaedah seni bina utama untuk membina ejen AI:
- Ejen tunggal: Satu model besar mengendalikan keseluruhan tugas dan membuat semua keputusan dan tindakan berdasarkan pemahaman konteks komprehensifnya. Kaedah ini mengambil kesempatan daripada kuasa kemunculan model besar dan mengelakkan kehilangan maklumat yang disebabkan oleh tugas yang mereput.
- Sistem berbilang ejen: Pecahkan tugas kepada subtugas, setiap subtugas dikendalikan oleh ejen yang lebih kecil dan lebih khusus. Daripada cuba menggunakan satu ejen am besar yang sukar dikawal dan diuji, seseorang boleh menggunakan banyak ejen yang lebih kecil untuk memilih strategi yang betul untuk subtugas tertentu. Pendekatan ini kadangkala perlu disebabkan oleh kekangan praktikal seperti pengehadan panjang tetingkap konteks atau keperluan untuk set kemahiran yang berbeza.
Secara teori, ejen tunggal dengan panjang konteks tidak terhingga dan perhatian yang sempurna adalah ideal. Disebabkan konteks yang lebih pendek, sistem berbilang ejen akan sentiasa berprestasi lebih teruk daripada satu sistem pada masalah tertentu.
Cabaran dalam amalan
Selepas menyaksikan banyak percubaan pada ejen AI, penulis percaya bahawa mereka masih terlalu awal, terlalu mahal, terlalu lambat dan tidak cukup dipercayai. Banyak syarikat permulaan ejen AI nampaknya sedang menunggu kejayaan model untuk memulakan perlumbaan untuk menghasilkan ejen mereka.
Prestasi ejen AI dalam aplikasi sebenar tidak cukup matang, yang ditunjukkan dalam masalah seperti output yang tidak tepat, prestasi yang tidak memuaskan, kos yang lebih tinggi, risiko pampasan dan ketidakupayaan untuk mendapatkan kepercayaan pengguna:
- Kebolehpercayaan: LLM diketahui terdedah kepada halusinasi dan ketidakkonsistenan. Menyambungkan berbilang langkah AI boleh memburukkan lagi masalah ini, terutamanya untuk tugasan yang memerlukan output yang tepat.
- Prestasi dan Kos: GPT-4, Gemini-1.5, dan Claude Opus berprestasi baik dengan panggilan alat/fungsi, tetapi ia masih perlahan dan mahal, terutamanya jika gelung dan percubaan semula automatik diperlukan.
- Isu Undang-undang: Syarikat mungkin bertanggungjawab atas kesilapan ejen mereka. Dalam contoh baru-baru ini, Air Canada telah diarahkan untuk membayar pampasan kepada pelanggan yang telah diperdayakan oleh chatbot syarikat penerbangan itu.
- Kepercayaan pengguna: Sifat "kotak hitam" ejen AI dan contoh serupa menyukarkan pengguna untuk memahami dan mempercayai output mereka. Memenangi kepercayaan pengguna akan menjadi sukar semasa tugas sensitif yang melibatkan pembayaran atau maklumat peribadi (seperti membayar bil, membeli-belah, dsb.).
Percubaan dunia sebenar
Pada masa ini, syarikat pemula berikut terlibat dalam bidang ejen AI, tetapi kebanyakannya masih dalam peringkat percubaan atau jemputan sahaja:
- $350 juta dikumpul, tetapi akses masih sangat terhad.
- MultiOn - Status pembiayaan tidak diketahui, pendekatan yang mengutamakan API mereka kelihatan menjanjikan.
- HypeWrite - Mendapat $2.8J, bermula sebagai pembantu penulisan AI dan kemudian berkembang menjadi ejen.
- minion.ai - pada mulanya menarik perhatian tetapi kini tidak aktif dengan hanya senarai menunggu.
Di antaranya, hanya MultiOn nampaknya mengikuti kaedah "memberi arahan dan memerhati pelaksanaannya", yang lebih konsisten dengan janji ejen AI.
Setiap syarikat lain menggunakan laluan RPA (rekod dan main semula), yang mungkin diperlukan pada peringkat ini untuk memastikan kebolehpercayaan.
Pada masa yang sama, beberapa syarikat besar turut membawakan keupayaan AI ke desktop dan penyemak imbas, dan nampaknya mereka akan mendapat penyepaduan AI asli pada peringkat sistem.
OpenAI mengumumkan apl desktop Mac mereka yang berinteraksi dengan skrin sistem pengendalian.
Di Google I/O, Google menunjukkan Gemini untuk mengautomasikan pulangan beli-belah.
Microsoft mengumumkan Copilot Studio, yang akan membolehkan pembangun membina robot ejen AI.
Demonstrasi teknikal ini mengagumkan, dan seseorang boleh menunggu dan melihat prestasi keupayaan ejen ini apabila ia dikeluarkan secara terbuka dan diuji dalam senario sebenar, dan bukannya terhad kepada kes demonstrasi yang dipilih dengan teliti.
Di manakah cara ejen AI akan pergi?
Pengarang menekankan: "Ejen AI telah terlalu digembar-gemburkan, dan kebanyakannya tidak bersedia untuk kegunaan kritikal misi
Namun, dengan kemajuan pesat model dan seni bina asas, dia berkata orang ramai masih boleh." berharap untuk melihat aplikasi praktikal yang lebih berjaya. .
Kaedah kerjasama manusia-mesin membolehkan manusia mengambil bahagian dalam menyelia dan mengendalikan kes-kes tepi.
- Tetapkan jangkaan realistik berdasarkan kebolehan dan batasan semasa anda.
- Dengan menggabungkan LLM yang dikekang ketat, data penilaian yang baik, penyeliaan kerjasama manusia-mesin dan kaedah kejuruteraan tradisional, adalah mungkin untuk mencapai keputusan yang boleh dipercayai dan baik dalam tugas yang kompleks seperti automasi.
- Adakah ejen AI akan mengautomasikan tugas yang membosankan dan berulang seperti mengikis web, mengisi borang dan kemasukan data?
Pengarang: "Ya, benar-benar."
Jadi adakah ejen AI akan menempah percutian secara automatik tanpa campur tangan manusia?
Pengarang: "Tidak mungkin sekurang-kurangnya dalam masa terdekat."
Atas ialah kandungan terperinci Gembar-gembur dan realiti ejen AI: GPT-4 tidak dapat menyokongnya, dan kadar kejayaan tugasan sebenar adalah kurang daripada 15%. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

AI Menambah Penyediaan Makanan Walaupun masih dalam penggunaan baru, sistem AI semakin digunakan dalam penyediaan makanan. Robot yang didorong oleh AI digunakan di dapur untuk mengautomasikan tugas penyediaan makanan, seperti membuang burger, membuat pizza, atau memasang SA

Pengenalan Memahami ruang nama, skop, dan tingkah laku pembolehubah dalam fungsi Python adalah penting untuk menulis dengan cekap dan mengelakkan kesilapan runtime atau pengecualian. Dalam artikel ini, kami akan menyelidiki pelbagai ASP

Pengenalan Bayangkan berjalan melalui galeri seni, dikelilingi oleh lukisan dan patung yang terang. Sekarang, bagaimana jika anda boleh bertanya setiap soalan dan mendapatkan jawapan yang bermakna? Anda mungkin bertanya, "Kisah apa yang anda ceritakan?

Meneruskan irama produk, bulan ini MediaTek telah membuat satu siri pengumuman, termasuk Kompanio Ultra dan Dimensity 9400 yang baru. Produk ini mengisi bahagian perniagaan MediaTek yang lebih tradisional, termasuk cip untuk telefon pintar

#1 Google melancarkan Agent2Agent Cerita: Ia Isnin pagi. Sebagai perekrut berkuasa AI, anda bekerja lebih pintar, tidak lebih sukar. Anda log masuk ke papan pemuka syarikat anda di telefon anda. Ia memberitahu anda tiga peranan kritikal telah diperolehi, dijadualkan, dan dijadualkan untuk

Saya akan meneka bahawa anda mesti. Kita semua seolah -olah tahu bahawa psychobabble terdiri daripada pelbagai perbualan yang menggabungkan pelbagai terminologi psikologi dan sering akhirnya menjadi tidak dapat difahami atau sepenuhnya tidak masuk akal. Semua yang anda perlu lakukan untuk memuntahkan fo

Hanya 9.5% plastik yang dihasilkan pada tahun 2022 dibuat daripada bahan kitar semula, menurut satu kajian baru yang diterbitkan minggu ini. Sementara itu, plastik terus menumpuk di tapak pelupusan sampah -dan ekosistem -sekitar dunia. Tetapi bantuan sedang dalam perjalanan. Pasukan Engin

Perbualan baru -baru ini dengan Andy Macmillan, Ketua Pegawai Eksekutif Platform Analytics Enterprise terkemuka Alteryx, menonjolkan peranan kritikal namun kurang dihargai ini dalam revolusi AI. Seperti yang dijelaskan oleh Macmillan, jurang antara data perniagaan mentah dan maklumat siap sedia


Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

MinGW - GNU Minimalis untuk Windows
Projek ini dalam proses untuk dipindahkan ke osdn.net/projects/mingw, anda boleh terus mengikuti kami di sana. MinGW: Port Windows asli bagi GNU Compiler Collection (GCC), perpustakaan import yang boleh diedarkan secara bebas dan fail pengepala untuk membina aplikasi Windows asli termasuk sambungan kepada masa jalan MSVC untuk menyokong fungsi C99. Semua perisian MinGW boleh dijalankan pada platform Windows 64-bit.

EditPlus versi Cina retak
Saiz kecil, penyerlahan sintaks, tidak menyokong fungsi gesaan kod

SublimeText3 Linux versi baharu
SublimeText3 Linux versi terkini