otak membaca AI meletup! Imbas imej otak dan Resapan Stabil menghasilkan semula imej secara realistik

Walaupun tanpa keajaiban Hogwarts, anda masih boleh melihat apa yang orang lain fikirkan!

Kaedahnya sangat mudah, dan ia berdasarkan Stable Diffusion untuk menggambarkan imej otak.

Contohnya, beruang, kapal terbang dan kereta api yang anda lihat kelihatan seperti ini.

Apabila AI ​​melihat isyarat otak, imej yang dihasilkan kelihatan seperti berikut, yang menunjukkan bahawa semua mata yang perlu disertakan.

Teknologi bacaan otak AI ini baru sahaja diterima oleh CVPR 2023, memberikan peminat "orgasme intrakranial" segera.

Terlalu liar! Lupakan tentang projek yang menggesa, kini anda hanya perlu menggunakan otak anda untuk "berfikir" tentang gambar tersebut.

Bayangkan menggunakan Stable Diffusion untuk membina semula imej visual daripada data fMRI, yang mungkin bermakna ia mungkin bukan invasif dalam antara muka otak-komputer masa depan.

Biar AI melangkau bahasa manusia secara langsung dan memahami apa yang difikirkan dalam otak manusia.

Pada masa itu, Neuralink yang dibangunkan oleh Musk juga akan mengejar siling AI ini.

Tidak perlu penalaan halus, gunakan AI untuk menghasilkan semula secara langsung apa yang anda fikirkan

Jadi, bagaimana AI mencapai pembacaan otak?

Penyelidikan terkini datang daripada pasukan penyelidik di Universiti Osaka di Jepun.

Alamat kertas: https://www.php.cn/link/0424d20160a6a558e5bf86a7bc

Penyelidik di Osaka University Graduate School of Frontier Biosciences dan CiNet di NICT di Jepun membina semula pengalaman visual daripada data fMRI berdasarkan model resapan terpendam (LDM), lebih khusus melalui Stable Diffusion .

Rangka kerja keseluruhan proses operasi juga sangat mudah: 1 pengekod imej, 1 penyahkod imej dan 1 penyahkod semantik.

Dengan melakukan ini, pasukan telah menghapuskan keperluan untuk melatih dan memperhalusi model AI kompleks.

Apa yang perlu dilatih ialah model linear ringkas yang memetakan isyarat fMRI dari kawasan otak visual bawah dan atas kepada satu komponen Resapan Stabil.

Secara khusus, penyelidik memetakan kawasan otak sebagai input kepada pengekod imej dan teks. Kawasan otak bawah dipetakan kepada pengekod imej, dan kawasan otak atas dipetakan kepada pengekod teks. Ini membolehkan sistem menggunakan komposisi imej dan kandungan semantik untuk pembinaan semula.

Yang pertama ialah analisis penyahkodan. Model LDM yang digunakan dalam kajian ini terdiri daripada pengekod imej ε, penyahkod imej D, dan pengekod teks τ.

Para penyelidik menyahkod perwakilan terpendam bagi imej z yang dibina semula dan teks yang berkaitan c daripada isyarat fMRI bagi korteks visual peringkat awal dan tinggi masing-masing, dan menggunakannya sebagai input untuk menghasilkan imej Xzc yang dihasilkan semula oleh pengekod auto.

Kemudian, penyelidik juga menubuhkan model pengekodan untuk meramal isyarat fMRI daripada komponen LDM yang berbeza, dengan itu Terokai bahagian dalam kerja LDM.

Para penyelidik menjalankan eksperimen menggunakan imej fMRI daripada Natural Scene Dataset (NSD) dan menguji sama ada mereka boleh Stabil Difusi ke membina semula perkara yang dilihat oleh subjek.

Dapat dilihat bahawa ketepatan ramalan imej terpendam berkaitan model pengekodan dan LDM, model terakhir menghasilkan ketepatan ramalan tertinggi dalam korteks visual di bahagian belakang otak. .

Hasil pembinaan semula visual subjek menunjukkan bahawa imej yang dibina semula dengan hanya z adalah konsisten secara visual dengan imej asal, Tetapi ia tidak dapat menangkap kandungan semantik.

Walaupun imej yang dibina semula hanya menggunakan c mempunyai kesetiaan semantik yang lebih baik, tetapi ketekalan visual yang lemah, imej yang dibina semula menggunakan zc boleh mempunyai kedua-dua kesetiaan semantik yang tinggi dan resolusi tinggi.

Hasil pembinaan semula daripada semua subjek pada imej yang sama menunjukkan bahawa kesan pembinaan semula berbeza antara subjek yang berbeza Ia adalah stabil dan agak tepat.

Perbezaan dalam butiran khusus mungkin datang daripada perbezaan dalam pengalaman persepsi individu atau kualiti data, bukannya kesilapan dalam proses pembinaan semula.

Akhir sekali, keputusan penilaian kuantitatif digraf.

Pelbagai keputusan menunjukkan bahawa kaedah yang digunakan dalam kajian bukan sahaja dapat menangkap penampilan visual peringkat rendah, tetapi juga menangkap kandungan semantik peringkat tinggi rangsangan asal.

Dari sudut pandangan ini, eksperimen menunjukkan bahawa gabungan penyahkodan imej dan teks menyediakan pembinaan semula yang tepat.

Terdapat perbezaan dalam ketepatan antara subjek, tetapi perbezaan ini berkaitan dengan kualiti imej fMRI, kata para penyelidik. Menurut pasukan itu, kualiti pembinaan semula adalah setanding dengan kaedah SOTA semasa, tetapi tidak memerlukan latihan model AI yang digunakan di dalamnya.

Pada masa yang sama, pasukan juga menggunakan model yang diperoleh daripada data fMRI untuk mengkaji pelbagai blok binaan Stable Diffusion, seperti cara kandungan semantik dijana semasa proses resapan ke belakang, Atau apakah proses yang berlaku dalam U-Net.

Semasa peringkat awal proses denoising, lapisan bottleneck (oren) U-Net menghasilkan prestasi ramalan tertinggi, dan apabila proses denoising berlangsung, lapisan awal (biru) Untuk ramalan aktiviti korteks visual awal, lapisan kesesakan beralih kepada korteks visual peringkat lebih tinggi.

Maksudnya, pada permulaan proses penyebaran, maklumat imej dimampatkan dalam lapisan bottleneck, dan dengan denoising, pemisahan antara lapisan U-Net muncul dalam visual korteks.

Selain itu, pasukan sedang membangunkan penjelasan kuantitatif tentang transformasi imej pada peringkat resapan yang berbeza. Dengan cara ini, penyelidik berhasrat untuk menyumbang kepada pemahaman yang lebih baik tentang model resapan dari perspektif biologi, yang digunakan secara meluas tetapi pemahamannya masih terhad.

Adakah imej otak manusia telah dinyahkod oleh AI?

Selama bertahun-tahun, penyelidik telah menggunakan model kecerdasan buatan untuk menyahkod maklumat daripada otak manusia.

Inti kebanyakan kaedah ialah menggunakan imej fMRI prarakaman sebagai input kepada model teks atau imej AI generatif.

Contohnya, pada awal 2018, sekumpulan penyelidik dari Jepun menunjukkan cara rangkaian saraf boleh membina semula imej daripada rakaman fMRI.

Pada 2019, sebuah kumpulan membina semula imej daripada neuron monyet, dan kumpulan penyelidikan Meta, yang diketuai oleh Jean-Remi King, menerbitkan karya baharu seperti daripada data fMRI untuk mendapatkan teks.

Pada Oktober 2022, sebuah pasukan di Universiti Texas di Austin menunjukkan bahawa model GPT boleh diperoleh daripada fMRI imbasan Teks yang menerangkan kandungan semantik yang dilihat dalam video disimpulkan.

Pada November 2022, penyelidik dari Universiti Nasional Singapura, Universiti Cina Hong Kong dan Universiti Stanford menggunakan model penyebaran MinD-Vis untuk membina semula imej daripada imbasan fMRI dengan ketara lebih tinggi ketepatan daripada kaedah yang ada pada masa itu.

Melangkah lebih jauh ke belakang, beberapa netizen menegaskan bahawa "menjana imej berdasarkan gelombang otak telah wujud sejak sekurang-kurangnya 2008 " Ya, adalah tidak masuk akal untuk membayangkan bahawa Stable Diffusion boleh membaca fikiran orang dalam beberapa cara."

Kertas kerja yang diterbitkan dalam Nature oleh University of California, Berkeley, menyatakan, A visual dekoder boleh digunakan untuk menukar aktiviti gelombang otak manusia kepada imej.

Apabila menjejak sejarah, sesetengah orang secara langsung Mengambil kajian 1999 oleh Stanford Li Feifei tentang membina semula imej dari korteks serebrum.

Li Feifei turut mengulas dan memajukannya, mengatakan bahawa dia masih pelatih universiti pada masa itu.

Juga pada 2011, kajian UC Berkeley menggunakan pengimejan resonans magnetik berfungsi (fMRI) dan model pengiraan, Pembinaan semula awal daripada "imej visual dinamik" otak.

Dalam erti kata lain, mereka mencipta semula klip yang pernah dilihat orang.

Walau bagaimanapun, berbanding dengan penyelidikan terkini, pembinaan semula ini tidak boleh dipanggil "definisi tinggi" sama sekali dan hampir tidak dapat dikenali.

Pengenalan pengarang

Yu Takagi

Yu Takagi ialah penolong profesor di Universiti Osaka. Minat penyelidikannya adalah di persimpangan neurosains pengiraan dan kecerdasan buatan.

Semasa PhDnya, beliau mempelajari teknik untuk meramalkan perbezaan individu daripada ketersambungan fungsi seluruh otak menggunakan pengimejan resonans magnetik berfungsi (fMRI) di Makmal Penyelidikan Komunikasi Maklumat Otak ATR.

Terbaru, beliau telah menggunakan teknik pembelajaran mesin untuk memahami pengiraan dinamik dalam tugas membuat keputusan yang kompleks di Pusat Oxford untuk Aktiviti Otak Manusia di Universiti Oxford dan Jabatan Psikologi di Universiti Tokyo.

Shinji Nishimoto

Shinji Nishimoto ialah Profesor di Universiti Osaka. Penyelidikan beliau memberi tumpuan kepada pemahaman kuantitatif pemprosesan visual dan kognitif di dalam otak.

Secara lebih khusus, tumpuan penyelidikan pasukan Profesor Nishimoto adalah dengan mewujudkan model ramalan aktiviti otak yang disebabkan di bawah persepsi semula jadi dan keadaan kognitif dan perwakilan.

Sesetengah netizen bertanya kepada penulis sama ada kajian ini boleh digunakan untuk mentafsir mimpi?

"Boleh menggunakan teknik yang sama pada aktiviti otak semasa tidur, tetapi ketepatan aplikasi sedemikian tidak jelas

Selepas membaca penyelidikan ini: Legilimency telah ditubuhkan sepenuhnya.

Rujukan: ​

​​https: / /www.php.cn/link/0424d20160a6a558e5bf86a7bc9b67f0​​

​​https://www.php.cn 02d72b702eed900577b953ef7a9c1182​​​

Atas ialah kandungan terperinci otak membaca AI meletup! Imbas imej otak dan Resapan Stabil menghasilkan semula imej secara realistik. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!