KI interpretiert Gehirnsignale in Echtzeit und stellt wichtige visuelle Merkmale von Bildern mit 7-facher Geschwindigkeit wieder her, weitergeleitet von LeCun

Jetzt kann KI Gehirnsignale in Echtzeit interpretieren!

Das ist keine Sensation, sondern eine neue Studie von Meta, die anhand von Gehirnsignalen das Bild, das Sie gerade betrachten, in 0,5 Sekunden erraten und mithilfe von KI in Echtzeit wiederherstellen kann.

Obwohl die KI bisher in der Lage war, Bilder aus Gehirnsignalen relativ genau wiederherzustellen, gab es immer noch einen Fehler – sie ist nicht schnell genug.

Zu diesem Zweck hat Meta ein neues Dekodierungsmodell entwickelt, das allein die Geschwindigkeit des KI-Bildabrufs um das Siebenfache erhöht. Es kann fast „sofort“ lesen, was die Leute sehen, und eine grobe Vermutung anstellen.

Sieht aus wie ein stehender Mann. Nach mehreren Restaurierungen hat die KI tatsächlich einen „stehenden Mann“ interpretiert:

Bild

LeCun leitete es weiter, um visuelle und andere Eingaben aus MEG-Gehirnsignalen zu rekonstruieren. Die Forschung ist wirklich großartig .

Bilder

Wie ermöglicht Meta es der KI, „Gehirne schnell zu lesen“?

Wie ist die Dekodierung der Gehirnaktivität zu interpretieren?

Derzeit gibt es zwei Hauptmethoden für die KI, Gehirnsignale zu lesen und Bilder wiederherzustellen.

Eine davon ist die fMRT (funktionelle Magnetresonanztomographie), die Bilder des Blutflusses zu bestimmten Teilen des Gehirns erzeugen kann; die andere ist die MEG (Magnetoenzephalographie), die extrem schwache biologische Magnetfelder messen kann, die von Nervenströmen im Gehirn abgegeben werden .

Allerdings ist die Geschwindigkeit der fMRT-Neurobildgebung oft sehr langsam, mit durchschnittlich 2 Sekunden, um ein Bild zu erzeugen (≈0,5 Hz). Im Gegensatz dazu kann MEG sogar Tausende von Gehirnaktivitätsbildern pro Sekunde aufzeichnen (≈5000 Hz).

Warum also nicht im Vergleich zu fMRT MEG-Daten verwenden, um zu versuchen, das „vom Menschen gesehene Bild“ wiederherzustellen?

Basierend auf dieser Idee haben die Autoren ein MEG-Dekodierungsmodell entworfen, das aus drei Teilen besteht.

Der erste Teil ist ein vorab trainiertes Modell, das für das Erhalten von Einbettungen aus Bildern verantwortlich ist.

Der zweite Teil ist ein End-to-End-Trainingsmodell, das für die Ausrichtung von MEG-Daten mit Bildeinbettungen verantwortlich ist vorab trainierter Bildgenerator, verantwortlich für die Wiederherstellung des endgültigen Bildes.

BilderFür das Training verwendeten die Forscher einen Datensatz namens THINGS-MEG, der MEG-Daten enthält, die aufgezeichnet wurden, als 4 junge Menschen (2 Männer und 2 Frauen, Durchschnittsalter 23,25) Bilder betrachteten.

Diese jungen Leute sahen sich insgesamt 22.448 Bilder (1.854 Typen) an. Jedes Bild wurde 0,5 Sekunden lang angezeigt und das Intervall betrug 0,8 bis 1,2 Sekunden.

Darüber hinaus gibt es 3659 Bilder, die den Teilnehmern nicht gezeigt wurden, aber auch bei der Bildsuche verwendet wurden.

Was bewirkt also die so trainierte KI?

Bildabrufgeschwindigkeit um das Siebenfache erhöht

Insgesamt ist das in dieser Untersuchung entwickelte MEG-Decodierungsmodell beim Bildabruf siebenmal schneller als der lineare Decoder.

Unter anderem schneidet die von Meta entwickelte visuelle Transformer-Architektur DINOv2 im Vergleich zu Modellen wie CLIP besser beim Extrahieren von Bildmerkmalen ab und kann MEG-Daten und Bildeinbettungen besser ausrichten.

BilderDie Autoren haben die insgesamt generierten Bilder in drei Hauptkategorien unterteilt: den höchsten Übereinstimmungsgrad, den mittleren Übereinstimmungsgrad und den schlechtesten Übereinstimmungsgrad:

Bilder Schauen Sie sich jedoch die generierten Beispiele an , der von dieser KI wiederhergestellte Bildeffekt ist tatsächlich nicht sehr gut.

Selbst das am besten restaurierte Bild wird von einigen Internetnutzern immer noch in Frage gestellt: Warum sieht der Panda überhaupt nicht wie ein Panda aus?

BilderDer Autor sagte: Zumindest wie ein Schwarz-Weiß-Bär. (Der Panda ist wütend!)

BilderNatürlich geben Forscher auch zu, dass der aus MEG-Daten wiederhergestellte Bildeffekt derzeit tatsächlich nicht sehr gut ist und der Hauptvorteil in der Geschwindigkeit liegt.

Zum Beispiel kann eine frühere Studie namens 7T fMRI der University of Minnesota und anderer Institutionen das vom menschlichen Auge gesehene Bild aus fMRT-Daten mit einem hohen Wiederherstellungsgrad wiederherstellen.

Bilder

Ob es sich um menschliche Surfbewegungen, die Form eines Flugzeugs, die Farbe von Zebras oder den Hintergrund eines Zuges handelt, eine auf fMRT-Daten trainierte KI kann das Bild besser wiederherstellen:

Bilder

Die Autoren gaben auch eine Erklärung dafür und gingen davon aus, dass dies darauf zurückzuführen sei, dass die von der auf MEG basierenden KI wiederhergestellten visuellen Funktionen relativ weit fortgeschritten seien.

Aber im Vergleich dazu kann 7T fMRI visuelle Merkmale auf niedrigerer Ebene im Bild extrahieren und wiederherstellen, sodass die Gesamtwiederherstellung des erzeugten Bildes höher ist.

Wo kann diese Art der Forschung Ihrer Meinung nach eingesetzt werden?

Papieradresse:
https://www.php.cn/link/f40723ed94042ea9ea36bfb5ad4157b2

Das obige ist der detaillierte Inhalt vonKI interpretiert Gehirnsignale in Echtzeit und stellt wichtige visuelle Merkmale von Bildern mit 7-facher Geschwindigkeit wieder her, weitergeleitet von LeCun. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!