Inländisches Team realisiert Gehirn-Computer-Schnittstelle „Vollspektrum-Chinesisch-Dekodierung', ein großer Durchbruch mit einer Top-3-Genauigkeitsrate von fast 100 %

Im August dieses Jahres demonstrierten zwei aufeinanderfolgende „Nature“-Artikel die leistungsstarken Fähigkeiten von Gehirn-Computer-Schnittstellen bei der Sprachwiederherstellung. Die meisten der vorhandenen Sprach-Gehirn-Computer-Schnittstellentechnologien sind für „Englisch und andere alphabetische Sprachen“-Systeme konzipiert , mit dem Ziel „Die Forschung zu Sprach-Gehirn-Computer-Schnittstellensystemen für nicht-alphabetische Systeme wie chinesische Schriftzeichen ist noch leer.“

Kürzlich haben das Team von Professor Mohammad Sawan am Center for Advanced Neural Chips, das Team von Professor Zhang Yue und das Team von Professor Zhu Junming vom Natural Language Processing Laboratory gemeinsam ihre neuesten Forschungsergebnisse veröffentlicht und dabei eine Gehirn-Computer-Schnittstelle mit vollem Spektrum chinesischer Sprache realisiert Die Dekodierung füllt bis zu einem gewissen Grad die Lücke in der internationalen chinesischen Dekodierungstechnologie für Gehirn-Computer-Schnittstellen.

Bilder

Papieradresse: https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1

Diese Studie sammelt alle Mandarin-Sprecher mithilfe der stereotaktischen Elektroenzephalographie-Technologie (SEEG). neuronal Aktivitätssignale im Gehirn, die dem Ausspracheprozess chinesischer Schriftzeichen entsprechen, haben in Kombination mit Deep-Learning-Algorithmen und Sprachmodellen die Dekodierung des gesamten Spektrums der Aussprache chinesischer Schriftzeichen realisiert und ein chinesisches Gehirn-Computer-Schnittstellensystem etabliert, das die Aussprache aller chinesischen Schriftzeichen abdeckt Mandarin-Zeichen und erkannte Gehirnaktivität, um die End-to-End-Ausgabe von Mandarin-Sätzen zu vervollständigen.

Brain-Computer-Interface-Dekodierung Chinesisch

BCI oder Brain-Computer-Interface gilt weithin als Kern des zukünftigen Cross-Integration-Bereichs von Biowissenschaften und Informationstechnologie. Dies ist eine Forschungsrichtung mit hohem gesellschaftlichem Wert und strategischer Bedeutung. Die Gehirn-Computer-Schnittstellentechnologie ist ein neuartiger Informationsübertragungskanal, der darauf abzielt, einen Verbindungsweg für den Informationsaustausch zwischen dem menschlichen oder tierischen Gehirn und externen Geräten herzustellen. Es ermöglicht, dass Informationen die ursprünglichen Muskeln und peripheren Nervenbahnen umgehen und dadurch eine Verbindung mit der Außenwelt herstellen und in gewissem Maße menschliche Funktionen wie Bewegung und Sprache ersetzen 50.000 Zeichen unterscheiden sich erheblich vom Englischen, das aus 26 Buchstaben besteht, was eine große Herausforderung für bestehende Sprach-Gehirn-Computer-Schnittstellensysteme darstellt.

Um dieses Problem zu lösen, hat das Forschungsteam in den letzten drei Jahren eine eingehende Analyse der Ausspracheregeln und Merkmale des Chinesischen durchgeführt. Ausgehend von den drei Elementen Anfangskonsonanten, Tönen und Auslauten chinesischer Aussprachesilben und der Kombination der Eigenschaften des Pinyin-Eingabesystems entwickelten sie ein brandneues Sprach-Gehirn-Computer-Schnittstellensystem, das für Chinesisch geeignet ist

Das Forschungsteam erstellte ein System, das mehr als 100 Stunden chinesische Sprach-SEEG-Datenbank benötigte, entwarfen sie eine Sprachbibliothek, die alle 407 chinesischen Pinyin-Silben und chinesischen Aussprachemerkmale abdeckt, und sammelten gleichzeitig EEG-Signale

Das System erstellt ein Vorhersagemodell, indem es ein Modell der künstlichen Intelligenz trainiert , unter Verwendung der Vorhersage der drei Elemente der Silbenaussprache chinesischer Schriftzeichen (Anfangskonsonanten, Töne und Auslaute). Schließlich integriert das System alle vorhergesagten Elemente über ein Sprachmodell und kombiniert semantische Informationen, um den wahrscheinlichsten vollständigen chinesischen Satz zu generieren Die Dekodierungsfähigkeit im täglichen Leben wurde in einem chinesischen Kontext bewertet. In mehr als hundert zufällig ausgewählten Dekodierungstests komplexer Kommunikationsszenarien bestehend aus zwei bis fünfzehn Zeichen betrug die mittlere Zeichenfehlerrate für alle Teilnehmer durchschnittlich 29 %, wobei einige Teilnehmer die Dekodierung per EEG durchführten. Der erhaltene Satz hat eine vollständige Genauigkeitsrate von 30 %

Die relativ effiziente Decodierungsleistung profitiert von der hervorragenden Leistung der drei unabhängigen Silbenelement-Decoder und der perfekten Zusammenarbeit des intelligenten Sprachmodells. Insbesondere bei der Klassifizierung von 21 Anfangskonsonanten übersteigt die Genauigkeit des Anfangskonsonantendecoders 40 % (mehr als das Dreifache der Basislinie), und die Top-3-Genauigkeitsrate erreicht fast 100 %, während der Tondecoder zur Unterscheidung von 4 Tönen verwendet wird Die Rate erreichte ebenfalls 50 % (mehr als das Doppelte des Ausgangswerts).

Das intelligente Sprachmodell weist eine herausragende Leistung im gesamten Sprach-Gehirn-Computer-Schnittstellensystem auf. Neben dem wichtigen Beitrag der drei unabhängigen Silbenelement-Decoder spielen auch seine leistungsstarken automatischen Fehlerkorrekturfunktionen und Kontextverbindungsfähigkeiten eine Schlüsselrolle

Bilder

Diese Forschung bietet eine neue Perspektive auf die BCI-Dekodierungsforschung in Chinesisch, einer phonetischen Sprache, und beweist auch, dass die Leistung von Sprach-Gehirn-Computer-Schnittstellensystemen durch leistungsstarke Sprachmodelle erheblich verbessert werden kann Damit wird der Grundstein für die Zukunft gelegt. Die Forschung zur phonetischen und geschriebenen Sprachneuroprothetik weist eine neue Richtung auf. Die Bedeutung dieser Arbeit besteht darin, dass sie darauf hinweist, dass Patienten mit neurologischen Erkrankungen bald in der Lage sein werden, computergenerierte chinesische Sätze durch ihre Gedanken zu steuern , wodurch ihre Kommunikationsfähigkeit wiederhergestellt wird!

Referenz:

https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1

Das obige ist der detaillierte Inhalt vonInländisches Team realisiert Gehirn-Computer-Schnittstelle „Vollspektrum-Chinesisch-Dekodierung', ein großer Durchbruch mit einer Top-3-Genauigkeitsrate von fast 100 %. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!