Apakah yang perlu saya lakukan jika AI tidak dapat memahami "dia, dia, itu"? Kata kerja telah menjadi kejayaan baru Apabila robot mendengar mentega, ia tahu cara mengambil pisau dan garpu.

Apabila memberi arahan kepada AI, adakah anda sentiasa merasakan bahawa berkomunikasi dengan orang lain adalah berbeza?

Ya, walaupun AI boleh memahami beberapa arahan khusus manusia, seperti:

Bantu alihkan kerusi dari restoran.

Tetapi jika ia digantikan dengan arahan yang samar-samar dengan hanya kata ganti nama (dia/dia/it/this/that/thing...) dan kata kerja, AI ​​akan keliru:

Bantu cari seseorang yang boleh melangkah dalam sesuatu.

Kini, sesetengah penyelidik akhirnya menghasilkan cara baharu untuk menanganinya: tidakkah cukup untuk membiarkan AI belajar memahami kata kerja?

Kata kerja itu sendiri terikat kepada beberapa kata nama tertentu Sebagai contoh, tindakan "menebar mentega" tidak boleh dipisahkan daripada kata nama seperti "pisau" dan "garpu".

Anda hanya perlu memadankannya. Tiada perintah kata nama seperti "pisau dan garpu" diperlukan dan AI ​​boleh mencari objek sasaran dengan tepat:

Pada masa ini, Kertas kerja ini telah dimasukkan secara rasmi dalam NeurIPS 2022, dan model yang berkaitan juga telah menjadi sumber terbuka:

Jadi bagaimanakah ia melatih AI untuk memahami kata kerja?

Kata nama penutup membolehkan AI "melihat gambar untuk mencari objek"

Kertas itu mencadangkan rangka kerja yang dipanggil TOIST.

TOIST ialah singkatan kepada "Task Oriented Instance Segmentation Transformer", yang merupakan penyelesaian pembahagian tika baharu berdasarkan Transformer.

Segmentasi contoh adalah berbeza daripada "pemotongan imej penuh" segmentasi semantik Ia juga mempunyai ciri pengesanan sasaran Sebagai contoh, gambar berikut menggunakan kata nama "kereta hatchback" untuk mencari secara langsung objek yang sepadan. :

Sebelum ini, model segmentasi contoh biasanya dibahagikan kepada "dua langkah", langkah pertama adalah untuk mengesan sasaran yang mungkin, dan langkah kedua ialah untuk mengisih sasaran yang mungkin, ramalkan hasil yang paling mungkin.

Tetapi tidak seperti pendekatan ini, rangka kerja TOIST secara langsung menggunakan keseluruhan seni bina Transformer, di mana mekanisme perhatian kendiri dalam penyahkod boleh mewujudkan hubungan keutamaan antara sasaran calon.

Rangka kerja TOIST dibahagikan kepada tiga bahagian.

Antaranya, pengekod berbilang modal (bahagian coklat) bertanggungjawab untuk mengekstrak penanda ciri, dan pengekod Transformer (bahagian hijau) bertanggungjawab untuk mengagregatkan ciri dua modaliti dan berdasarkan penyahkod Transformer ( bahagian biru) mekanisme perhatian untuk meramalkan sasaran yang paling sesuai.

Seterusnya, kertas kerja mencadangkan kaedah penyulingan kata nama-kata ganti nama baharu (penyulingan kata ganti nama diri) untuk melatih model tersebut.

Secara khusus, berdasarkan rangka kerja penyulingan pengetahuan (model guru-pelajar di atas), AI dilatih untuk "meneka" prototaip kata nama berdasarkan konteks dalam cara pembelajaran tanpa pengawasan.

Sebagai contoh, tugas pembahagian contoh asal ialah "menggali lubang dengan papan selaju", tetapi apabila melatih model, kata nama "papan luncur" digantikan dengan kata ganti nama "sesuatu":

Dengan cara ini, AI ​​boleh meneka kata nama yang betul daripada udara nipis walaupun ia tidak mengetahui kata nama itu, dan membahagikan sasaran yang betul dalam gambar:

Bagaimanakah prestasi kesan segmentasi ini dalam kes sebenar?

Ketepatan pengesanan sasaran meningkat sebanyak 10.9%

Kertas tersebut menguji TOIST pada set data tugasan berskala besar COCO-Tasks.

Kaedah penilaian menggunakan mAP (min Purata Ketepatan), yang biasa dalam tugas visual seperti pengesanan sasaran.

Ringkasnya, TOIST berprestasi lebih baik daripada model pengesanan contoh dan model SOTA model pengesanan sasaran sebelumnya, dan dengan "versi dipertingkatkan" TOIST ditambah dengan kaedah penyulingan kata ganti nama, prestasinya lebih baik daripada TOIST.

Antaranya, dalam tugas pengesanan sasaran, berbanding dengan Yolo+GGNN terbaik semasa, peta ketepatan kotak keputusan TOIST "versi dipertingkatkan" meningkat sebanyak 10.9%. daripada Mask -RCNN+GGNN ialah 6.6% lebih tinggi.

Bagi kaedah penyulingan kata ganti nama diri yang dicadangkan, berbanding dengan versi asal TOIST, ketepatan tugas pembahagian contoh telah dipertingkatkan masing-masing sebanyak 2.8% dan 3.8% .

Dari segi prestasi kes, kesan model juga sangat hampir dengan nilai sebenar segmentasi sebenar.

Sebagai contoh, dalam Rajah (d), algoritma itu juga mengiktiraf bahawa penutup botol bir boleh dibuka menggunakan jadual Ia boleh dikatakan bahawa keupayaan pemahaman adalah sempurna:

Untuk melakukan ini Berkenaan dengan tujuan asal penyelidikan, penulis menjawab:

Makmal kami sebenarnya bertanggungjawab untuk menyelidik robot, tetapi dalam penyelidikan harian, kami mendapati bahawa pengguna kadangkala lebih cenderung untuk menerangkan "keperluan" kepada robot dan bukannya memberitahu robot apa yang perlu dilakukan.

Dalam erti kata lain, algoritma AI digunakan untuk membuat robot "berfikir satu langkah lagi" dan bukannya hanya menjadi pembantu yang mengikut perintah.

Pengenalan kepada pengarang

Pengarang kertas kerja ini berasal dari Institut Penyelidikan Industri Pintar Universiti Tsinghua (AIR), Universiti Peking dan Institut Penyelidikan Intel Zhang Yaqin, Dekan AIR daripada pengarang.

Li Pengfei, pengarang pertama kertas kerja, ialah calon kedoktoran di Institut Industri Pintar Universiti Tsinghua. Beliau lulus dari Akademi Sains China ijazah sarjana muda minat penyelidikannya termasuk pemanduan autonomi dan penglihatan komputer.

Pengarang yang sepadan, Zhao Hao, ialah Penolong Profesor yang akan datang di Institut Penyelidikan Industri Pintar Universiti Tsinghua, seorang saintis penyelidikan di Institut Penyelidikan Intel China dan rakan pasca doktoral bersama di Peking Beliau lulus dari Universiti Tsinghua dalam jurusan kejuruteraan elektronik, minat penyelidikan adalah ke arah robotik dan penglihatan komputer.

Alamat kertas: https://arxiv.org/abs/2210.10775

Alamat projek: https://github.com/AIR-DISCOVER/ TOIST

Atas ialah kandungan terperinci Apakah yang perlu saya lakukan jika AI tidak dapat memahami "dia, dia, itu"? Kata kerja telah menjadi kejayaan baru Apabila robot mendengar mentega, ia tahu cara mengambil pisau dan garpu.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!