AI mentafsir isyarat otak dalam masa nyata dan memulihkan ciri visual utama imej pada kelajuan 7x, dikemukakan oleh LeCun

Kini, AI boleh mentafsir isyarat otak dalam masa nyata!

Ini bukan sensasi, tetapi kajian baharu oleh Meta, yang boleh meneka gambar yang anda lihat dalam masa 0.5 saat berdasarkan isyarat otak, dan menggunakan AI untuk memulihkannya dalam masa nyata.

Sebelum ini, walaupun AI telah dapat memulihkan imej daripada isyarat otak dengan agak tepat, masih terdapat pepijat - ia tidak cukup pantas.

Untuk tujuan ini, Meta telah membangunkan model penyahkodan baharu, yang meningkatkan kelajuan pengambilan imej AI sahaja sebanyak 7 kali Ia hampir "semerta" membaca perkara yang dilihat orang dan meneka apa yang mereka lakukan melihat .

kelihatan seperti lelaki berdiri Selepas beberapa pemulihan, AI ​​sebenarnya mentafsirkan "lelaki berdiri":

#🎜🎜 #图#🎜🎜. #LeCun mengemukakan bahawa penyelidikan tentang membina semula visual dan input lain daripada isyarat otak MEG sememangnya hebat.

PictureJadi, bagaimanakah Meta membenarkan AI "membaca otak dengan cepat"?

Bagaimana untuk mentafsir penyahkodan aktiviti otak?

Pada masa ini, terdapat dua cara utama untuk AI membaca isyarat otak dan memulihkan imej.

Satu ialah fMRI (pengimejan resonans magnetik berfungsi), yang boleh menjana imej aliran darah ke bahagian tertentu otak; yang lain ialah MEG (magnetoencephalography), yang boleh mengukur arus elektrik yang dipancarkan oleh saraf masuk; isyarat medan biomagnet yang sangat lemah.

Walau bagaimanapun, kelajuan pengimejan saraf fMRI selalunya sangat perlahan, dengan purata 2 saat untuk menghasilkan gambar (≈0.5 Hz sebagai perbandingan, MEG malah boleh merakam beribu-ribu aktiviti otak sesaat). imej (≈5000 Hz).

Jadi berbanding dengan fMRI, mengapa tidak menggunakan data MEG untuk cuba memulihkan "imej yang dilihat oleh manusia"?

Berdasarkan idea ini, pengarang mereka bentuk model penyahkod MEG, yang terdiri daripada tiga bahagian.

Bahagian pertama ialah model pra-terlatih, bertanggungjawab untuk mendapatkan pembenaman daripada imej; data dengan pembenaman imej;# 🎜🎜#

Bahagian ketiga ialah penjana imej terlatih, bertanggungjawab untuk memulihkan imej akhir.

Picture

Untuk latihan, penyelidik menggunakan set data yang dipanggil THINGS-MEG, yang mengandungi 4 MEG data yang direkodkan manakala orang muda (2 lelaki dan 2 perempuan, purata umur 23.25 tahun) melihat imej. Golongan muda ini melihat sejumlah 22,448 imej (1,854 jenis setiap imej dipaparkan selama 0.5 saat dan selang 0.8~1.2 saat daripadanya dilihat berulang kali).

Selain itu, terdapat 3659 imej yang tidak ditunjukkan kepada peserta tetapi turut digunakan dalam pengambilan imej.

Jadi, apakah kesan AI yang dilatih dengan cara ini?

Kelajuan mendapatkan imej meningkat sebanyak 7 kali

Secara keseluruhannya, model penyahkod MEG yang direka dalam kajian ini adalah 7 kali lebih pantas daripada kelajuan mendapatkan semula imej penyahkod linear.

Antaranya, berbanding dengan CLIP dan model lain, seni bina Transformer visual DINOv2 yang dibangunkan oleh Meta berprestasi lebih baik dalam mengekstrak ciri imej dan boleh menjajarkan data MEG dan pembenaman imej dengan lebih baik.

Picture

Pengarang membahagikan keseluruhan imej yang dihasilkan kepada tiga kategori, padanan tertinggi, padanan sederhana dan Paling teruk padanan:

Picture

Namun, berdasarkan contoh yang dihasilkan, imej yang dipulihkan oleh AI ini sebenarnya tidak sangat baik. Malah imej yang paling dipulihkan masih dipersoalkan oleh sesetengah netizen: Mengapa panda itu tidak kelihatan seperti panda?

Picture

Penulis berkata: Sekurang-kurangnya seperti beruang hitam putih. (Panda mengamuk!)

Picture

Sudah tentu, penyelidik juga mengakui bahawa kesan imej dipulihkan daripada MEG data memang Ia belum begitu baik, kelebihan utama adalah kelajuan. Sebagai contoh, kajian terdahulu yang dipanggil 7T fMRI dari Universiti Minnesota dan institusi lain boleh memulihkan imej yang dilihat oleh mata manusia daripada data fMRI dengan tahap pemulihan yang tinggi.

Gambar

Sama ada pergerakan manusia melayari, bentuk kapal terbang, warna zebra atau latar belakang kereta api, AI yang dilatih berdasarkan data fMRI boleh memulihkan imej dengan lebih baik:

gambar

Penulis juga memberikan penjelasan mengenai perkara ini, percaya bahawa ini adalah kerana ciri visual yang dipulihkan oleh AI berdasarkan MEG agak maju.

Tetapi sebagai perbandingan, 7T fMRI boleh mengekstrak dan memulihkan ciri visual peringkat rendah dalam imej, supaya pemulihan keseluruhan imej yang dijana adalah lebih tinggi.

Di manakah anda rasa penyelidikan jenis ini boleh digunakan?

Alamat kertas:

https://www.php.cn/link/f40723ed94042ea9ea36bfb5ad4157b2

Atas ialah kandungan terperinci AI mentafsir isyarat otak dalam masa nyata dan memulihkan ciri visual utama imej pada kelajuan 7x, dikemukakan oleh LeCun. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!