WIMI Hologram (NASDAQ : WIMI) développe des modèles et des paradigmes de jeu BCI basés sur une interface cerveau-ordinateur

2023-05-15 10:48:43 Auteur : Song Junyi

Avec le développement rapide de la technologie d'interface cerveau-ordinateur (BCI) ces dernières années, les chercheurs scientifiques ont également intégré la technologie d'interface cerveau-ordinateur (BCI) dans les jeux de divertissement et ont mené des recherches approfondies par conséquent, en plus des applications cliniques, sur le cerveau. -La technologie d'interface informatique (BCI) peut également être une forme de divertissement. Actuellement, la plupart des jeux BCI ne peuvent pas être largement popularisés en raison de problèmes tels qu'une mauvaise performance de contrôle ou une fatigue facile. Au cours des dernières années, de nombreuses études ont été menées, démontrant la popularité croissante de la technologie BCI dans les interactions ludiques. Parmi les jeux BCI des études précédentes, les potentiels P300, les potentiels évoqués visuels à l'état d'équilibre (SSVEP) et l'imagerie motrice (IM) étaient les jeux les plus courants utilisant des signaux EEG (EEG). La stabilité du P300 le rend moins sujet à la fatigue et ne nécessite aucune formation particulière de la part de l'utilisateur. Par conséquent, WIMI (NASDAQ : WIMI) utilise l'interface cerveau-ordinateur P300 pour concevoir un modèle de jeu afin d'explorer l'utilisation des signaux d'électroencéphalogramme (EEG) dans des environnements réels pour une expérience d'exécution de jeu réalisable et naturelle.

L'innovation de recherche de WIMI Hologram réside dans l'intégration des jeux BCI et de la conception de paradigmes, intégrant les règles du jeu et les caractéristiques du système BCI. L'introduction de l'algorithme de réseau neuronal convolutif (CNN) peut atteindre une grande précision dans les échantillons d'entraînement. Le système BCI n'est pas seulement une forme de divertissement, mais il augmente également la diversité des opérations de jeu.

Au cours de la dernière décennie, l'apprentissage profond s'est développé rapidement dans de nombreux domaines tels que la vision par ordinateur, le traitement du langage naturel et le traitement de la parole. Dans le domaine de la classification d'images, les chercheurs ont proposé de nouvelles architectures profondes qui atteignent une grande précision. Ces dernières années, des réseaux neuronaux convolutifs (CNN) ont été utilisés pour la détection du P300. L'utilisation de CNN pour identifier et classer les signaux EEG P300 peut donner de bons résultats. Afin d'améliorer la capacité de généralisation du modèle, la classification de signal P300 de pointe et la reconnaissance de caractères sont implémentées. Sur les petits ensembles de données, un surajustement se produira, de sorte que de grands ensembles de données doivent être utilisés pour former des données non linéaires. À l'heure actuelle, CNN est très approprié. Cependant, il est très difficile de collecter de grandes quantités de données de formation dans des applications pratiques. Par conséquent, nous proposons une nouvelle architecture basée sur des réseaux de neurones convolutifs (CNN) pour réaliser une classification de signal P300 de pointe et une reconnaissance de caractères sur un petit ensemble de données d'entraînement.

WIMI (NASDAQ : WIMI) a conçu un modèle de jeu P300 BCI basé sur CNN et a proposé un algorithme basé sur l'apprentissage profond bayésien pour résoudre le problème de surajustement lors de l'entraînement sur de petits ensembles de données. Des conclusions sont tirées en appliquant avec succès un modèle de jeu BCI basé sur P300 et en démontrant son applicabilité aux algorithmes d'apprentissage profond pour les systèmes BCI en ligne.

Le cadre du système holographique WIMI basé sur le modèle de jeu CNN BCI contient trois sous-systèmes, à savoir la partie collecte de données, la partie traitement des données et le terminal visuel et de jeu. Dans la partie acquisition de données, les signaux EEG multicanaux du cuir chevelu sont enregistrés à l’aide de capuchons d’électrodes et d’amplificateurs. Une fois le signal prétraité, le processus de traitement des données peut être divisé en deux étapes : la formation hors ligne et les tests de classification en ligne. Enfin, les résultats de classification sont convertis en commandes d'opération et envoyés aux terminaux visuels et de jeu. Le terminal visuel et de jeu se compose de deux sous-étapes : (1) fournir une stimulation visuelle à l'utilisateur après la mise à jour de la stratégie de stimulation et (2) fournir un retour visuel (coordonnées de sortie) à l'utilisateur.

Collecte et prétraitement des données EGG

L'hologramme WIMI est basé sur le modèle de jeu CNN BCI utilisant des condensateurs et des amplificateurs à 32 canaux pour enregistrer de manière non invasive les données EEG, les numériser à 1 000 Hz et les filtrer avec un filtre coupe-bande de 50 Hz. Recueillir toutes les données des électrodes. Afin de réduire l'impact des effets de bord du filtrage, les données enregistrées sont d'abord filtrées. Des filtres passe-bande peuvent être utilisés pour traiter le signal EEG de chaque canal afin d'extraire les informations clés du signal P300 après le déclenchement du stimulus. Ensuite, les données sont sous-échantillonnées. Les matrices de données des mêmes caractères sont empilées et moyennées pour réduire le rapport signal/bruit.

Architecture CNN

Hologramme WIMI Après avoir prétraité le signal BCI basé sur le modèle de jeu CNN BCI, la partie traitement des données peut être divisée en deux étapes : la formation hors ligne et la classification en ligne. Les CNN sont basés sur la rétropropagation bayésienne, une méthode d'inférence variationnelle utilisée pour apprendre la distribution postérieure des poids des réseaux neuronaux à partir de laquelle les poids de la rétropropagation peuvent être échantillonnés. Par exemple, si nous modélisons chaque paramètre de poids avec une distribution gaussienne, alors la valeur de poids d'origine peut être exprimée comme la moyenne et l'écart type de la distribution gaussienne. Le postérieur est ensuite calculé par inférence variationnelle.

La couche convolutive de CNN doit utiliser un noyau de convolution avec une valeur de poids pour l'opération de convolution. Chaque paramètre de poids dans le noyau de convolution est exprimé sous la forme d'une distribution gaussienne. Afin d'obtenir une certaine valeur de poids, la distribution gaussienne doit être utilisée pour l'échantillonnage. Par conséquent, dans le processus d'échantillonnage, une technologie de paramétrage lourde est utilisée pour mettre le processus d'échantillonnage en avant, de sorte que la propagation vers l'avant du réseau devienne la dérivée et que les poids soient mis à jour pendant le processus de propagation arrière. Le noyau de convolution est généré en extrayant des valeurs de poids spécifiques de la distribution de poids du noyau de convolution, puis l'opération de convolution est effectuée sur le champ récepteur.

L'interface cerveau-ordinateur (BCI) est une méthode de communication non conventionnelle qui peut établir un chemin de communication entre une personne et la périphérie. Initialement, la technologie BCI était utilisée dans le domaine clinique pour aider les patients à reprendre l'interaction avec le monde extérieur en envoyant des commandes directement depuis. le cerveau à la capacité de l'ordinateur. Désormais, en plus des applications cliniques, la technologie BCI a également été expérimentée et appliquée dans les jeux de divertissement. La technologie BCI est souvent utilisée pour fournir des entrées pour les jeux, éliminant ainsi la dépendance à l'égard des appareils intermédiaires (souris, clavier, manette de jeu et contrôleur de jeu). WIMI est basé sur le modèle de jeu CNN BCI, formant une plate-forme capable de satisfaire les intérêts des utilisateurs en bonne santé et des utilisateurs handicapés. Pour les utilisateurs en bonne santé, les jeux BCI regorgent de technologie et de mystère, ce qui augmente l'attrait du jeu et contribue à sa promotion. Pour les utilisateurs handicapés, les jeux BCI leur offrent une plate-forme de jeu équitable qui leur permet non seulement de jouer à des jeux de la même manière que les utilisateurs en bonne santé, mais sert également de système de rééducation fonctionnelle pour aider les patients dans leur formation de rééducation. L’application de la technologie BCI aux jeux de divertissement constitue une étape clé pour la faire passer du stade de la recherche scientifique au stade des applications pratiques du marché.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!