Teknologi bacaan minda AI telah dinaik taraf! Sepasang cermin mata secara langsung mengawal anjing robot Boston, menjadikan robot yang dikawal otak menjadi kenyataan

Adakah anda masih ingat kemahiran membaca minda AI dari dahulu? Baru-baru ini, keupayaan untuk "membuat semua keinginan anda menjadi kenyataan" telah berkembang semula,

- manusia boleh mengawal robot secara langsung melalui pemikiran mereka sendiri!

Para penyelidik MIT mengeluarkan projek Ddog. Mereka secara bebas membangunkan peranti antara muka otak-komputer (BCI) untuk mengawal Spot anjing robot Boston Dynamics.

Anjing boleh bergerak ke kawasan tertentu, membantu orang mendapatkan sesuatu atau mengambil gambar mengikut pemikiran manusia.

Berbanding dengan penutup kepala sebelum ini yang memerlukan penggunaan banyak sensor untuk "membaca fikiran", kali ini peranti antaramuka otak-komputer dipersembahkan dalam bentuk cermin mata tanpa wayar (AttentivU).

Walaupun tingkah laku yang ditunjukkan dalam video adalah mudah, tujuan sistem ini adalah untuk mengubah Spot menjadi alat komunikasi asas untuk membantu orang yang mempunyai penyakit seperti ALS, cerebral palsy atau kecederaan saraf tunjang.

Hanya dua iPhone dan sepasang cermin mata boleh membawa bantuan praktikal dan penjagaan kepada orang yang terdesak.

Dan, seperti yang akan kita lihat dalam kertas berkaitan, sistem ini sebenarnya dibina di atas kejuruteraan yang sangat kompleks.

Alamat kertas: https://doi.org/10.3390/s24010080

Sistem Ddog menggunakan AttentivU sebagai sistem antara muka otak-komputer, dan penderia electroencephaled dibenamkan (EEG) atau aktiviti otak, dan electrooculogram atau pergerakan mata.

Asas penyelidikan ini ialah MIT's Brain Switch, BCI gelung tertutup masa nyata yang membolehkan pengguna berkomunikasi secara bukan lisan dan dalam masa nyata dengan penjaga.

Kadar kejayaan sistem Ddog ialah 83.4%, dan ini adalah kali pertama sistem BCI tanpa wayar dan bukan visual telah disepadukan dengan Spot dalam kes penggunaan pembantu peribadi.

Dalam video kita dapat melihat evolusi peranti antara muka otak dan beberapa pemikiran pembangun.

Sebelum ini, pasukan penyelidik telah menyelesaikan interaksi antara antara muka otak-komputer dan rumah pintar, dan kini telah menyelesaikan kawalan robot yang boleh bergerak dan beroperasi.

Kajian-kajian ini telah memberi cahaya kepada orang istimewa, memberi mereka harapan untuk terus hidup malah hidup lebih baik pada masa hadapan.

Berbanding dengan penutup kepala sensorik seperti sotong, cermin mata di bawah ini memang lebih sejuk.

Menurut Pertubuhan Kebangsaan untuk Penyakit Jarang, kini terdapat 30,000 pesakit ALS di Amerika Syarikat, dan dianggarkan 5,000 kes baharu didiagnosis setiap tahun. Di samping itu, kira-kira 1 juta rakyat Amerika mempunyai cerebral palsy, menurut Panduan Cerebral Palsy.

Ramai daripada mereka ini mempunyai atau akhirnya akan kehilangan keupayaan untuk berjalan, berpakaian, bercakap, menulis dan juga bernafas.

Walaupun alat bantu komunikasi memang wujud, kebanyakannya adalah peranti memerhati mata yang membolehkan pengguna berkomunikasi menggunakan komputer. Tidak banyak sistem yang membenarkan pengguna berinteraksi dengan dunia di sekeliling mereka.

Sistem robotik empat kali ganda BCI ini berfungsi sebagai prototaip awal, membuka jalan untuk pembangunan robot pembantu peribadi moden pada masa hadapan.

Semoga, kita dapat melihat keupayaan yang lebih menakjubkan dalam lelaran akan datang.

Robot berkaki empat dikawal otak

Dalam kerja ini, penyelidik meneroka cara peranti BCI tanpa wayar dan boleh pakai boleh mengawal robot berkaki empat - Boston Dynamics' Spot.

Peranti yang dibangunkan oleh penyelidik mengukur aktiviti electroencephalogram (EEG) dan electrooculogram (EOG) pengguna melalui elektrod yang tertanam dalam bingkai cermin mata.

Pengguna menjawab satu siri soalan dalam fikiran mereka ("ya" atau "tidak"), dan setiap soalan sepadan dengan set operasi Spot pratetap.

Sebagai contoh, gesa Spot untuk berjalan melalui bilik, mengambil objek (seperti sebotol air), dan kemudian mengambilnya untuk pengguna.

Robot dan BCI

Sehingga hari ini, EEG kekal sebagai salah satu kaedah antara muka komputer otak bukan invasif yang paling praktikal dan boleh digunakan.

Sistem BCI boleh dikawal menggunakan isyarat endogen (spontan) atau eksogen (dibangkitkan).

Dalam antara muka otak-komputer eksogen, isyarat yang dibangkitkan berlaku apabila seseorang memberi perhatian kepada rangsangan luar, seperti isyarat visual atau pendengaran.

Kelebihan kaedah ini termasuk latihan minimalis dan kadar bit tinggi sehingga 60 bit/min, tetapi ini memerlukan pengguna untuk sentiasa fokus pada rangsangan, sekali gus mengehadkan kebolehgunaannya dalam kehidupan sebenar. Tambahan pula, pengguna cepat letih apabila menggunakan BCI eksogen.

Dalam antara muka otak-komputer endogen, isyarat kawalan dijana secara bebas daripada sebarang rangsangan luar dan boleh dilaksanakan sepenuhnya oleh pengguna atas permintaan. Bagi pengguna yang mengalami masalah deria, ini menyediakan cara berinteraksi yang lebih semula jadi dan intuitif, membolehkan pengguna mengeluarkan arahan secara spontan kepada sistem.

Namun, kaedah ini biasanya memerlukan masa latihan yang lebih lama dan mempunyai kadar bit yang lebih rendah.

Aplikasi robotik yang menggunakan antara muka otak-komputer selalunya sesuai untuk orang yang memerlukan bantuan, dan selalunya termasuk kerusi roda dan rangka luar.

Rajah di bawah menunjukkan kemajuan terkini dalam antara muka komputer otak dan teknologi robotik setakat 2023.

Robot kuadrup sering digunakan untuk menyokong pengguna dalam persekitaran kerja atau aplikasi pertahanan yang kompleks.

Salah satu robot berkaki empat yang paling terkenal ialah Boston Dynamics’ Spot, yang boleh membawa sehingga 15kg muatan dan secara berulang memetakan tapak penyelenggaraan seperti terowong. Industri hartanah dan perlombongan juga menggunakan robot berkaki empat seperti Spot untuk membantu memantau tapak kerja dengan logistik yang kompleks.

Artikel ini menggunakan robot Spot yang dikawal oleh penyelesaian BCI mudah alih dan berdasarkan tugasan aritmetik mental Keseluruhan seni bina dinamakan Ddog. Senibina Ddog menggunakan suara Memberi maklum balas kepada pengguna dan penjaga mereka.

Sistem ini direka bentuk untuk berfungsi sepenuhnya di luar talian atau dalam talian sepenuhnya. Versi dalam talian mempunyai set model pembelajaran mesin yang lebih maju, serta model diperhalusi yang lebih baik, dan lebih cekap kuasa untuk peranti tempatan.

Seluruh sistem direka untuk senario kehidupan sebenar dan membolehkan lelaran pantas pada kebanyakan bahagian.

Di sisi pelanggan, pengguna berinteraksi dengan peranti antara muka otak-komputer (AttentivU) melalui aplikasi mudah alih, yang menggunakan protokol Bluetooth Tenaga Rendah (BLE) untuk berkomunikasi dengan peranti.

Peranti mudah alih pengguna berkomunikasi dengan telefon lain yang mengawal robot Spot untuk membolehkan agensi, manipulasi, navigasi dan akhirnya bantuan kepada pengguna.

Komunikasi antara telefon boleh melalui Wi-Fi atau rangkaian mudah alih. Telefon mudah alih terkawal mewujudkan tempat liputan Wi-Fi dan kedua-dua Ddog dan telefon mudah alih pengguna disambungkan ke tempat liputan ini. Apabila menggunakan mod dalam talian, anda juga boleh menyambung kepada model yang dijalankan pada awan.

Sisi pelayan

Sisi pelayan menggunakan gugusan Kubernetes (K8S), dan setiap gugusan digunakan dalam Awan Peribadi Maya (VPC) sendiri.

Awan berfungsi dalam VPC khusus, biasanya digunakan dalam Zon Ketersediaan yang sama lebih dekat dengan pengguna akhir, meminimumkan kependaman respons untuk setiap perkhidmatan.

Setiap bekas dalam kluster direka untuk satu tujuan (seni bina perkhidmatan mikro), setiap perkhidmatan adalah model AI yang sedang berjalan, tugas mereka termasuk: navigasi, pemetaan, penglihatan komputer, manipulasi, kedudukan dan agensi .

Pemetaan: Perkhidmatan yang mengumpul maklumat tentang persekitaran robot daripada sumber yang berbeza. Ia memetakan data statik, tidak alih (pokok, bangunan, dinding) tetapi juga mengumpul data dinamik yang berubah dari semasa ke semasa (kereta, seseorang).

Navigasi: Berdasarkan data peta yang dikumpul dan ditambah dalam perkhidmatan sebelumnya, perkhidmatan navigasi bertanggungjawab untuk membina laluan antara titik A dan titik B dalam ruang dan masa. Ia juga bertanggungjawab untuk membina laluan alternatif, serta menganggarkan masa yang diperlukan.

Penglihatan Komputer: Kumpul data visual daripada kamera robot dan tambahkannya dengan data daripada telefon anda untuk menjana perwakilan spatial dan temporal. Perkhidmatan ini juga cuba membahagikan setiap titik visual dan mengenal pasti objek.

Awan bertanggungjawab untuk melatih model berkaitan BCI, termasuk electroencephalogram (EEG), electrooculogram (EOG) dan unit ukuran inersia (IMU).

Model luar talian yang digunakan pada telefon mudah alih menjalankan pengumpulan dan pengagregatan data, sementara turut menggunakan model mudah alih TensorFlow (dioptimumkan untuk RAM yang lebih kecil dan CPU berasaskan ARM) untuk inferens masa nyata.

Visi dan Operasi

Versi asal yang digunakan untuk menggunakan model segmentasi ialah model TensorFlow 3D tunggal yang memanfaatkan data LIDAR. Penulis kemudian memanjangkannya kepada model beberapa tangkapan dan mempertingkatkannya dengan menjalankan model pelengkap pada data Medan Sinaran Neural (NeRF) dan RGBD.

Data mentah yang dikumpul oleh Ddog diagregatkan daripada lima kamera. Setiap kamera boleh menyediakan data skala kelabu, mata ikan, kedalaman dan inframerah. Terdapat juga kamera keenam di dalam pencengkam lengan, dengan resolusi 4K dan keupayaan LED, yang berfungsi dengan model TensorFlow terlatih untuk mengesan objek.

Awan titik dijana daripada data lidar dan data RGBD daripada Ddog dan telefon mudah alih. Selepas pemerolehan data selesai, ia dinormalisasi melalui sistem koordinat tunggal dan dipadankan dengan keadaan global yang menghimpunkan semua data pengimejan dan kedudukan 3D.

Pengendalian bergantung sepenuhnya pada kualiti pencengkam lengan robotik yang dipasang pada Ddog Pencengkam dalam gambar di bawah ini dihasilkan oleh Boston Dynamics.

Hadkan kes penggunaan anda kepada interaksi asas dengan objek di lokasi yang dipratentukan.

Pengarang melukis ruang makmal yang besar dan menyediakannya sebagai "apartmen" dengan ruang "dapur" (dengan dulang dengan cawan dan botol berbeza), ruang "ruang tamu" (dengan bantal) sofa kecil dan meja kopi kecil), dan kawasan "ruang istirahat bertingkap".

Bilangan kes penggunaan sentiasa meningkat, jadi satu-satunya cara untuk menampung kebanyakannya adalah dengan menggunakan sistem untuk berjalan secara berterusan untuk satu tempoh masa dan menggunakan data untuk mengoptimumkan urutan dan pengalaman sedemikian.

AttentivU

Data EEG dikumpul daripada peranti AttentivU. Elektrod cermin mata AttentivU diperbuat daripada perak asli dan terletak di TP9 dan TP10 mengikut sistem penempatan elektrod antarabangsa 10-20. Cermin mata juga termasuk dua elektrod EOG yang terletak pada pad hidung dan elektrod rujukan EEG yang terletak pada kedudukan Fpz.

Penderia ini boleh memberikan maklumat yang diperlukan dan membolehkan campur tangan gelung tertutup masa nyata apabila diperlukan.

Peranti ini mempunyai dua mod, EEG dan EOG, yang boleh digunakan untuk menangkap isyarat perhatian, penglibatan, keletihan dan beban kognitif dalam masa nyata. EEG telah digunakan sebagai penunjuk neurofisiologi peralihan antara terjaga dan tidur,

manakala EOG adalah berdasarkan pengukuran isyarat bioelektrik yang disebabkan semasa pergerakan mata disebabkan oleh sifat dipol kornea-retina. Penyelidikan menunjukkan bahawa pergerakan mata berkait dengan jenis akses memori yang diperlukan untuk melaksanakan tugas tertentu dan merupakan ukuran penglibatan visual, perhatian dan rasa mengantuk yang baik.

Eksperimen

Mula-mula bahagikan data EEG kepada beberapa tetingkap. Tentukan setiap tetingkap sebagai tempoh 1 saat panjang data EEG dengan 75% bertindih dengan tetingkap sebelumnya.

Kemudian datanglah prapemprosesan dan pembersihan data. Data telah ditapis menggunakan gabungan penapis takuk 50 Hz dan penapis laluan jalur dengan jalur laluan 0.5 Hz hingga 40 Hz untuk memastikan penyingkiran hingar talian kuasa dan frekuensi tinggi yang tidak diingini.

Seterusnya, penulis mencipta algoritma penolakan artifak. Zaman ditolak jika perbezaan kuasa mutlak antara dua zaman berturut-turut adalah lebih besar daripada ambang yang telah ditetapkan.

Dalam langkah akhir pengelasan, pengarang mencampurkan nisbah kuasa jalur spektrum yang berbeza untuk menjejaki aktiviti mental berasaskan tugasan setiap subjek. Bagi MA, nisbahnya ialah (alfa/delta). Untuk WA, nisbahnya ialah (delta/beta rendah) dan untuk ME, nisbahnya ialah (delta/alfa).

Kemudian, gunakan algoritma pengesanan titik perubahan untuk menjejaki perubahan dalam nisbah ini. Peningkatan atau penurunan mendadak dalam nisbah ini menunjukkan perubahan dalam keadaan mental pengguna.

Untuk subjek dengan ALS, model kami mencapai ketepatan 73% dalam tugasan MA, 74% dalam tugasan WA dan 60% dalam tugasan ME.

Atas ialah kandungan terperinci Teknologi bacaan minda AI telah dinaik taraf! Sepasang cermin mata secara langsung mengawal anjing robot Boston, menjadikan robot yang dikawal otak menjadi kenyataan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!