Die neue Arbeit von Li Feifeis Team: Gehirngesteuerte Roboter erledigen Hausarbeit und geben Gehirn-Computer-Schnittstellen die Möglichkeit, mit wenigen Proben zu lernen

Du kannst dein Gehirn benutzen, niemals deine Hände.

In Zukunft können Sie vielleicht einen Roboter bitten, Ihnen bei der Hausarbeit zu helfen, indem Sie einfach darüber nachdenken. Das kürzlich vom Team um Wu Jiajun und Li Feifei von der Stanford University vorgeschlagene NOIR-System ermöglicht es Benutzern, Roboter zu steuern, um tägliche Aufgaben durch nicht-invasive Elektroenzephalographiegeräte zu erledigen.

NOIR kann Ihre EEG-Signale in eine Roboter-Fähigkeitsbibliothek dekodieren. Es kann jetzt Aufgaben wie das Kochen von Sukiyaki, das Bügeln von Kleidung, das Reiben von Käse, das Spielen von Tic-Tac-Toe und sogar das Streicheln eines Roboterhundes erledigen. Dieses modulare System verfügt über leistungsstarke Lernfähigkeiten und kann komplexe und vielfältige Aufgaben im täglichen Leben bewältigen.

Das Brain and Robot Interface (BRI) ist ein Meisterwerk menschlicher Kunst, Wissenschaft und Technik. Wir haben es in unzähligen Science-Fiction-Werken und kreativen Künsten wie „The Matrix“ und „Avatar“ gesehen, aber es ist nicht einfach, BRI wirklich zu erkennen und erfordert bahnbrechende wissenschaftliche Forschung, um ein Gerät zu entwickeln, das perfekt mit dem Menschen funktionieren kann .

Eine Schlüsselkomponente für ein solches System ist die Fähigkeit von Maschinen, mit Menschen zu kommunizieren. Im Prozess der Mensch-Maschine-Kollaboration und des Roboterlernens kommunizieren Menschen ihre Absichten unter anderem durch Aktionen, Tastendrücke, Blicke, Gesichtsausdrücke, Sprache usw. Die direkte Kommunikation mit Robotern über neuronale Signale ist die aufregendste, aber auch anspruchsvollste Perspektive.

Kürzlich hat ein multidisziplinäres gemeinsames Team unter der Leitung von Wu Jiajun und Li Feifei von der Stanford University ein universelles intelligentes BRI-System NOIR (Neural Signal Betriebene Intelligente Roboter/Neural Signal Betriebene Intelligente Roboter) vorgeschlagen.

Papieradresse: https://openreview.net/pdf?id=eyykI3UIHa

Projektwebsite: https://noir-corl.github.io/

Das System basiert auf nicht-invasiver Elektroenzephalographie ( EEG-Technologie. Berichten zufolge ist das Hauptprinzip dieses Systems die hierarchische gemeinsame Autonomie, d. h. Menschen definieren Ziele auf hoher Ebene und Roboter erreichen ihre Ziele durch die Ausführung von Bewegungsanweisungen auf niedriger Ebene. Das System integriert neue Fortschritte in den Bereichen Neurowissenschaften, Robotik und maschinelles Lernen, um Verbesserungen gegenüber früheren Methoden zu erzielen. Das Team fasst die geleisteten Beiträge zusammen.

NOIR ist zunächst einmal vielseitig, kann für vielfältige Aufgaben eingesetzt werden und ist für verschiedene Communities einfach zu nutzen. Untersuchungen zeigen, dass NOIR im Vergleich dazu bis zu 20 tägliche Aktivitäten ausführen kann. Frühere BRI-Systeme waren oft für eine oder wenige Aufgaben konzipiert oder waren einfach Simulationssysteme. Darüber hinaus kann das NOIR-System von der Allgemeinbevölkerung mit minimaler Schulung genutzt werden.

Zweitens bedeutet das I in NOIR, dass das Robotersystem intelligent ist und über Anpassungsfähigkeiten verfügt. Der Roboter ist mit einem vielfältigen Repertoire an Fähigkeiten ausgestattet, die es ihm ermöglichen, Aktionen auf niedriger Ebene ohne intensive menschliche Aufsicht auszuführen. Mithilfe parametrisierter Fertigkeitsprimitive wie Pick (obj-A) oder MoveTo (x,y) können Roboter auf natürliche Weise menschliche Verhaltensziele erfassen, interpretieren und ausführen.

Darüber hinaus verfügt das NOIR-System auch über die Fähigkeit zu lernen, was Menschen während des Zusammenarbeitsprozesses erreichen wollen. Untersuchungen zeigen, dass sich das System durch die Nutzung jüngster Fortschritte bei den zugrunde liegenden Modellen selbst an sehr begrenzte Daten anpassen kann. Dadurch kann die Effizienz des Systems deutlich verbessert werden. Zu den wichtigsten technischen Beiträgen von

NOIR gehört ein modularer Workflow zur Dekodierung neuronaler Signale, um menschliche Absichten zu verstehen. Wissen Sie, die Entschlüsselung menschlicher Ziele aus neuronalen Signalen ist eine große Herausforderung. Zu diesem Zweck besteht der Ansatz des Teams darin, die menschliche Absicht in drei Hauptkomponenten zu zerlegen: das zu manipulierende Objekt (Was), die Art und Weise der Interaktion mit dem Objekt (Wie) und den Ort der Interaktion (Wo). Ihre Forschung zeigt, dass diese Signale aus verschiedenen Arten neuronaler Daten entschlüsselt werden können. Diese zerlegten Signale können natürlich parametrisierten Roboterfähigkeiten entsprechen und können effektiv an den Roboter kommuniziert werden.

Drei menschliche Probanden nutzten das NOIR-System erfolgreich bei 20 Heimaktivitäten mit Desktop- oder mobilen Vorgängen (einschließlich Sukiyaki-Herstellung, Bügeln von Kleidung, Tic-Tac-Toe-Spielen, Streicheln eines Roboterhundes usw.), d. h. beim Erledigen dieser Aufgaben ihre Gehirnsignale!

Experimente zeigen, dass durch den Einsatz von Menschen als Lehrer für das Roboterlernen mit wenigen Schüssen die Effizienz des NOIR-Systems deutlich verbessert werden kann. Diese Methode der Nutzung menschlicher Gehirnsignale zur Zusammenarbeit beim Aufbau intelligenter Robotersysteme birgt großes Potenzial für die Entwicklung lebenswichtiger unterstützender Technologien für Menschen, insbesondere für Menschen mit Behinderungen, um ihre Lebensqualität zu verbessern.

NOIR-System

Zu den Herausforderungen, die diese Forschung lösen möchte, gehören: 1. Wie baut man ein universelles BRI-System auf, das für verschiedene Aufgaben geeignet ist? 2. Wie lassen sich relevante Kommunikationssignale aus dem menschlichen Gehirn entschlüsseln? 3. Wie kann die Intelligenz und Anpassungsfähigkeit von Robotern verbessert werden, um eine effizientere Zusammenarbeit zu erreichen? Abbildung 2 gibt einen Überblick über das System.

In diesem System nehmen Menschen als Planungsagenten Verhaltensziele wahr, planen sie und kommunizieren sie an Roboter, während Roboter vordefinierte primitive Fähigkeiten nutzen, um diese Ziele zu erreichen.

Um das Gesamtziel der Schaffung eines universellen BRI-Systems zu erreichen, müssen diese beiden Designs gemeinsam integriert werden. Zu diesem Zweck schlug das Team einen neuen Arbeitsablauf zur Dekodierung von Gehirnsignalen vor und stattete den Roboter mit einer Reihe parametrisierter Originalfähigkeitsbibliotheken aus. Schließlich nutzte das Team eine Lerntechnologie zur Nachahmung von wenigen Beispielen, um dem Roboter effizientere Lernfähigkeiten zu verleihen.

Gehirn: Modularer Dekodierungsworkflow

Wie in Abbildung 3 dargestellt, wird die menschliche Absicht in drei Komponenten zerlegt: das zu manipulierende Objekt (Was), die Art der Interaktion mit dem Objekt (Wie) und die Interaktion Wo .

Spezifische Benutzerabsichten aus EEG-Signalen zu entschlüsseln ist nicht einfach, kann aber durch stationäre visuell evozierte Potenziale (SSVEP) und motorische Bilder erreicht werden. Kurz gesagt umfasst der Prozess:

• Auswählen eines Objekts mit einem Steady State Visual Evoked Potential (SSVEP)

• Auswählen von Fähigkeiten und Parametern über Motor Imagery (MI)

• Auswählen über Muskelstraffung zum Bestätigen oder Unterbrechen

Roboter: Parametrisierte Grundfertigkeiten

Parameterisierte Grundfertigkeiten können kombiniert und für verschiedene Aufgaben wiederverwendet werden, um komplexe und vielfältige Operationen zu erreichen. Darüber hinaus sind diese Fähigkeiten für den Menschen sehr intuitiv. Weder Menschen noch Agenten müssen die Kontrollmechanismen dieser Fähigkeiten verstehen, sodass Menschen diese Fähigkeiten mit jeder Methode implementieren können, solange sie robust und an verschiedene Aufgaben anpassbar sind.

Das Team verwendete im Experiment zwei Roboter: Einer war ein Franka Emika Panda-Roboterarm für Desktop-Bedienaufgaben und der andere war ein PAL Tiago-Roboter für mobile Bedienaufgaben. Die folgende Tabelle gibt die primitiven Fähigkeiten dieser beiden Roboter an.

Einsatz von Roboterlernen für effizientes BRI

Der oben beschriebene modulare Decodierungsworkflow und die Bibliothek primitiver Fertigkeiten legen den Grundstein für NOIR. Die Effizienz solcher Systeme kann jedoch noch weiter verbessert werden. Der Roboter sollte in der Lage sein, die Elemente, Fähigkeiten und Parameterauswahlpräferenzen des Benutzers während des Zusammenarbeitsprozesses zu erlernen, sodass er in Zukunft die Ziele vorhersagen kann, die der Benutzer erreichen möchte, eine bessere Automatisierung erreichen und die Dekodierung einfacher und einfacher gestalten kann. Da die Position, Pose, Anordnung und Instanz der Elemente bei jeder Ausführung unterschiedlich sein können, sind Lern- und Generalisierungsfähigkeiten erforderlich. Darüber hinaus sollten Lernalgorithmen eine hohe Stichprobeneffizienz aufweisen, da das Sammeln menschlicher Daten teuer ist.

Das Team hat hierfür zwei Methoden übernommen: die abrufbasierte Auswahl von Elementen und Fertigkeiten mit wenigen Stichproben und das Lernen von Fertigkeitsparametern mit einer Stichprobe.

Abrufbasierte Auswahl von Artikeln und Fertigkeiten mit wenigen Stichproben. Diese Methode kann implizite Darstellungen der beobachteten Zustände lernen. Bei einem neuen beobachteten Zustand werden der ähnlichste Zustand und die entsprechende Aktion im verborgenen Raum gefunden. Abbildung 4 gibt einen Überblick über den Ansatz.

Während der Missionsausführung werden Datenpunkte aufgezeichnet, die aus Bildern und vom Menschen ausgewählten „Item-Skill“-Paaren bestehen. Diese Bilder werden zunächst von einem vorab trainierten R3M-Modell codiert, um für Robotermanipulationsaufgaben nützliche Merkmale zu extrahieren, und durchlaufen dann eine Reihe trainierbarer, vollständig verbundener Schichten. Diese Ebenen werden durch kontrastives Lernen mit Triplettverlust trainiert, was dazu führt, dass Bilder mit derselben Element-Fähigkeitsbezeichnung im verborgenen Raum näher beieinander liegen. Die erlernten Bildeinbettungen und „Item-Skill“-Beschriftungen werden im Speicher gespeichert.

Während des Tests ruft das Modell den nächstgelegenen Datenpunkt im verborgenen Raum ab und schlägt dem Menschen dann das mit diesem Datenpunkt verknüpfte Element-Fähigkeits-Paar vor.

Einzelbeispiel-Fähigkeitsparameterlernen. Die Auswahl der Parameter erfordert eine umfassende menschliche Beteiligung, da der Prozess eine präzise Cursorbedienung durch motorische Bilder (MI) erfordert. Um die menschliche Arbeitsbelastung zu reduzieren, schlug das Team einen Lernalgorithmus vor, der Parameter anhand eines Element-Fähigkeits-Paares vorhersagt, das als Ausgangspunkt für die Cursorsteuerung dient. Angenommen, der Benutzer hat den genauen Schlüsselpunkt zum Aufheben eines Tassengriffs erfolgreich lokalisiert. Muss er diesen Parameter in Zukunft erneut angeben? In letzter Zeit haben Basismodelle wie DINOv2 große Fortschritte gemacht und die entsprechenden semantischen Schlüsselpunkte können gefunden werden, sodass keine erneuten Parameterangaben erforderlich sind.

Im Vergleich zu früheren Arbeiten basiert der hier vorgeschlagene neue Algorithmus auf einer Einzelstichprobe und sagt eher spezifische 2D-Punkte als semantische Fragmente voraus. Wie in Abbildung 4 dargestellt, sagt das Modell bei einem Trainingsbild (360 × 240) und einer Parameterauswahl (x, y) semantisch entsprechende Punkte in verschiedenen Testbildern voraus. Konkret nutzte das Team das vorab trainierte DINOv2-Modell, um semantische Merkmale zu erhalten.

Experimente und Ergebnisse

Missionen. Die für das Experiment ausgewählten Aufgaben stammen aus den Benchmarks „VERHALTEN“ und „Aktivitäten des täglichen Lebens“, die bis zu einem gewissen Grad die täglichen Bedürfnisse des Menschen widerspiegeln können. Abbildung 1 zeigt die experimentellen Aufgaben, die 16 Desktop-Aufgaben und 4 mobile Betriebsaufgaben umfassen.

Beispiele für experimentelle Prozesse zur Herstellung von Sandwiches und zur Betreuung von COVID-19-Patienten sind unten aufgeführt.

Experimenteller Prozess. Während des Experiments blieb der Benutzer in einem isolierten Raum, blieb still, beobachtete den Roboter auf dem Bildschirm und verließ sich bei der Kommunikation mit dem Roboter ausschließlich auf Gehirnsignale.

Systemleistung. Tabelle 1 fasst die Systemleistung anhand von zwei Metriken zusammen: der Anzahl der Versuche bis zum Erfolg und der Zeit, die zum Abschließen der Aufgabe bei Erfolg benötigt wird.

Trotz der langen Dauer und Schwierigkeit dieser Aufgaben erzielte NOIR sehr ermutigende Ergebnisse: Im Durchschnitt waren nur 1,83 Versuche erforderlich, um die Aufgaben zu lösen.

Dekodierungsgenauigkeit. Die Genauigkeit, mit der Gehirnsignale dekodiert werden, ist ein Schlüssel zum Erfolg des NOIR-Systems. Tabelle 2 fasst die Dekodierungsgenauigkeit in verschiedenen Phasen zusammen. Es ist ersichtlich, dass die auf SSVEP basierende CCA (kanonische Korrelationsanalyse) eine hohe Genauigkeit von 81,2 % erreichen kann, was bedeutet, dass die Artikelauswahl im Allgemeinen genau ist.

Ergebnisse der Artikel- und Fertigkeitsauswahl. Kann der neu vorgeschlagene Roboter-Lernalgorithmus also die Effizienz von NOIR verbessern? Die Forscher bewerteten zunächst das Lernen bei der Auswahl von Gegenständen und Fertigkeiten. Zu diesem Zweck sammelten sie einen Offline-Datensatz für die MakePasta-Aufgabe mit 15 Trainingsbeispielen für jedes Element-Fähigkeits-Paar. Wenn bei einem gegebenen Bild gleichzeitig der richtige Gegenstand und die richtige Fertigkeit vorhergesagt werden, gilt die Vorhersage als richtig. Die Ergebnisse sind in Tabelle 3 dargestellt.

Ein einfaches Bildklassifizierungsmodell mit ResNet kann eine durchschnittliche Genauigkeit von 0,31 erreichen, während mit der neuen Methode, die auf dem vorab trainierten ResNet-Backbone-Netzwerk basiert, eine deutlich höhere Genauigkeit von 0,73 erreicht werden kann, was das kontrastive Lernen und die Retrieval-Basis hervorhebt Die Bedeutung des Lernens.

Ergebnisse des Parameterlernens bei einer Stichprobe. Die Forscher verglichen den neuen Algorithmus mit mehreren Benchmarks, die auf vorab gesammelten Datensätzen basierten. Tabelle 4 gibt die MSE-Werte der vorhergesagten Ergebnisse an.

Sie demonstrierten auch die Wirksamkeit des Parameter-Lernalgorithmus bei der tatsächlichen Aufgabenausführung für die SetTable-Aufgabe. Abbildung 5 zeigt den eingesparten menschlichen Aufwand bei der Steuerung der Cursorbewegung.

Das obige ist der detaillierte Inhalt vonDie neue Arbeit von Li Feifeis Team: Gehirngesteuerte Roboter erledigen Hausarbeit und geben Gehirn-Computer-Schnittstellen die Möglichkeit, mit wenigen Proben zu lernen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!